核心观点:Agent 正在把 AI 从"回答问题"推向"完成任务",存储也随之从"提供容量、承载文件"的资源层,升级为贯穿 Agent 运行、协作与持续优化的关键底座。火山引擎存储团队以 Storage Agent Infra 为载体,围绕 Sandbox Store、Artifact Store、Agent 观测 & 评测三大能力方向,重新组织存储能力,支撑 Agent 时代的真实业务。
过去几年,AI 应用的形态正在快速变化。从早期的模型调用,到对话式助手,再到具备工具调用、任务执行、环境交互和长期记忆能力的 Agent,AI 系统正在从"回答问题"走向"完成任务"。这种变化不仅改变了上层应用的交互方式,也对底层基础设施提出了新的要求。
结合 AI Agent 场景的快速成熟和发展,AI 驱动的数据 Workload 也在快速发生着演变。可划分为三个阶段:
- Training(训练)阶段,数据 Workload 特点是海量、大规模、高吞吐
- 海量 Dataset 数据集在对象存储中汇集,一个成熟模型在预训练阶段依赖的数据集规模可达到百 PiB~EiB 级别;Dataset 中的数据类型依据模型特点所决定,例如各类高精度生图生视频模型会更依赖高质量的多模态数据素材;
-
训练启动前会将 Dataset 从存储向上加载至 GPU,训练启动后会周期性高频产生 CKPT 写入至存储,加载和写入都会跨越到 TB/s 级别的带宽;存储需要保障上述过程的性能和时效性,否则会导致训练 GPU 空转。
-
Inference(推理)阶段,数据 Workload 特点是低时延、高并发、KV 化、高吞吐
- 推理服务面向用户实时交互,极致低时延是刚性指标,毫秒甚至微秒级的推理 IO 延迟都会直接影响端侧性能表现;
-
KVCache 成为关键负载,每轮 token 的生成都会关联依赖 KVCache。KVCache 的命中率和时延会直接影响推理响应的 TTFT 和 TBT;围绕超大规模的推理服务,KVCache 的吞吐也会线性提升,重依赖 KVCache 在分布式扩展性、分层架构方面的落地能力。
-
Agent(智能体)阶段,数据 Workload 特点是场景多元化、批量高负载、可观测/自进化
- 相较于训练、推理的标准化算力负载场景,Agent 应用阶段完全面向真实生产业务,场景碎片化、多元化特征突出,核心围绕智能体真实落地、业务闭环执行展开,所有负载能力均服务于 Agent 生产环境稳定运行与迭代进化;
- 具备高频动态的环境沙箱与工作区读写需求,需要频繁创建、切换、销毁独立沙箱工作环境,产生大量临时性、场景化的环境数据、任务缓存、操作快照数据,对存储的灵活隔离、快速启停、轻量化读写能力要求极高;
- 任务运行会持续生成文件、多模态 Output 数据,这类产物不再局限于单沙箱独立使用,存在极强的跨沙箱复用、共享、流转、公网访问需求,需要统一存储底座实现产物持久化留存;
- 依赖全链路 Trace 观测与日志存储,Agent 多轮对话、工具调用、逻辑决策、任务执行的全流程需要完整溯源记录,并支撑 Agent 的进化。
基于上述 AI Workload 的变化,也驱动了存储范式的演进:
- Content Storage 面向 Dataset、文档、图片、视频、日志等数据,核心命题是海量、持久化、冷归档与分发,目标是"把内容保存好",对应过去十年围绕对象存储、并行文件系统和冷热分层建立起来的成熟范式;
- State Storage 则面向 Checkpoint / Optimizer State、KVCache / Embedding、Environment / Memory / Trace 等执行状态,核心命题是短生命周期张量与上下文的高速流转、秒级恢复和低成本分叉,目标是"把系统状态维持住"。
上述两种范式的变化,并非简单的数据规模差异,而是在数据形态(文件 vs 数百 MB~数十 GB 的短生命周期状态块)、IO 模式(带宽敏感的顺序批扫 vs 延迟敏感的随机流转)、SLO 要求(秒级可用 vs 毫秒/微秒级不可失)与成本结构(可冷热分层 vs 无"冷"态可退)四个维度上的数据范式进化。
存储的角色因此从"数据底座"升级为"状态底座",从 Data Lake 走向 State Lake。
火山存储围绕 AI Workload 的驱动变化,已布局了从 Training 到 Inference 到 Agent,从 Data Lake 走向 State Lake 完整的产品能力规划和落地。
本文重点围绕火山存储在 Agent 应用领域,从 Data Lake 走向 State Lake 的落地之路。
一、Agent 应用生态整体架构
从工程视角看,Agent 应用可以抽象为多个层次:底层是算力、控制面和环境接入面,中间是运行时引擎、工具路由、记忆管理和控制循环,上层则是具体的 Agent 应用、工作流和产品封装。
在这个体系中,存储能力贯穿多个关键环节。
围绕火山引擎客户各类 Agent 应用的运行特点,火山引擎存储团队将 Storage Agent Infra 的重点方向归纳为三类:
- Sandbox Store:面向 Agent 沙箱运行环境,提供本地环境 rootfs 挂载、快照、启动恢复、状态保存等能力;
- Artifact Store:面向 Agent 执行过程中的镜像、程序包、脚本、模型、输入输出文件和任务产物,提供持久化、共享、分发和访问能力;
- Agent 观测 & 评测:面向 Agent 执行过程中的日志、Trace、Session、评测数据和实验结果,支撑观测、评测和持续优化闭环。
这三个方向分别对应 Agent 生命周期中的不同阶段。Sandbox Store 关注的是 Agent "在哪里运行"以及"如何快速、稳定地恢复运行环境";Artifact Store 关注的是 Agent "读写什么数据"以及"任务产物如何保存、共享和分发";Agent 观测 & 评测则关注 Agent "运行得怎么样"以及"如何基于数据持续改进"。它们共同构成了 Storage Agent Infra 的基本框架:
二、Storage Agent Infra 的三大能力方向和存储智能化
2.1 Sandbox Store:让 Agent 沙箱更快启动、更好恢复
Agent 的一个重要特点,是需要在受控环境中执行任务。在代码生成、数据处理、模型评估、多模态任务等场景中,Agent 往往需要一个相对完整的运行环境:它要能够安装依赖、执行脚本、读取输入、生成输出,并在必要时进行回滚、恢复或并行探索。这使得沙箱不只是一个"计算环境",其背后的状态保存、数据共享与会话通信,共同构成了 Agent Infra 中非常关键的一层。
同时沙箱在多种业务状态下的数据 Workload 变化,也推动 Sandbox Store 增加对各种 Data State 的支持,Sandbox Store 也逐步扮演为沙箱视角下的 State Lake。
在业务需求上,Sandbox Store 面临几类典型诉求:
-
启动要快:沙箱启动时延通常需要控制在较低水平,以保证 Agent 交互和任务执行体验;
-
状态要能保存:在 pause / resume、checkpoint、模型评估、任务重试等场景中,需要通过快照等机制保存沙箱状态;
-
容量要可控:不同类型 Agent 对单沙箱容量的需求不同,但整体需要兼顾成本、密度和弹性;
-
隔离要清晰:多租户场景下,需要在存储边界、权限、容量和性能上提供隔离能力;
-
恢复要灵活:在跨机器、跨机房或批量调度场景中,恢复能力直接影响资源利用率和任务连续性;
-
通信中枢:不同沙箱中的 Agent 协作、复杂任务长会话、高并发请求、海量租户隔离场景,通信机制更为关键。
围绕这些需求,Storage Agent Infra 在 Sandbox Store 方向上重点规划了基于 EBS、EFS 和 MQ 的能力组合。
通用沙箱 rootfs 场景
- 云盘 EBS 更适合作为基础方案,通过快照、延迟加载(Lazyload)、批量创盘和挂载优化等能力,支持沙箱快速启动、批量创建、pause / resume 以及数据保护;
- EBS 支持大规模高频快照、超长快照链、极速克隆,让 Agent 能随时存下当前状态、回退到任意一步。例如,在模型评估场景中,Agent 可以在每一步推理或实验后保存快照。如果某一步结果不理想,就可以基于前序快照重新拉起沙箱,调整模型参数或实验配置,从而支持更高效的并行探索和对比评估。
多 Agent 并行实验、共享工作区和弹性容量等场景
- EFS 可有效补齐 EBS 在共享与协同场景下的能力边界。 它提供高性能、弹性扩展的共享存储空间,具备完整 POSIX 语义,以及目录级访问隔离、目录级配额、目录级数据流动和共享挂载等能力,能够更好承载多沙箱、多 Agent 并行实验过程中对共享数据集、工作目录和中间结果的统一访问与管理需求。
通信中枢需求
- 会话级隔离与强顺序:MQ LiteTopic 为每一个 Agent 会话分配独立的消息主题,确保会话隔离,同时保持上下文严格顺序,为模型提供高质量交互源;
- 海量并发与高效调度:百万级 LiteTopic 动态创建与自动释放机制,支持海量会话并发的弹性;基于优先级消息,实现异步调度、支撑 Multi-Agent 协作、长会话任务的高效准确的调度。
这套组合的本质,不是…