Agent Infra 的演进逻辑与工程实践

导读 Agent 正从 Demo 走向生产,但越来越多团队发现,模型能力不再是唯一的瓶颈——基础设施层的稳定性、弹性、安全与可治理性,正在成为决定 Agent 能否规模化落地的关键变量。

腾讯云于 2025 年推出 Agent Runtime,定位为面向 Agentic RL、Agentic Agent 及企业级 Agent 平台构建场景的统一基础设施底座,其底层基于 RustVMM 与 KVM 构建的 Cube Sandbox 安全沙箱技术也已对外开源。

7月24-25日,腾讯云出席了 DataFun 举办的「Agentic AI Summit 超级智能体系统架构峰会·深圳站」。借此机会,DataFun社区对腾讯云 Agent Runtime 团队进行了深度专访,探讨 Agent 从“能跑”到“跑得稳、跑得快、跑得安全、跑得省”背后的工程思考。我们尽量在不改变原意的情况下,对文章可读性进行整理,以下为具体采访内容:

01 

行业认知校正

K8s 能调度容器,但不能原生调度 Agent 的连续性

Q: 当前业界对 Agent 基础设施的讨论热度攀升,但认知仍较为分散。从一线实践来看,企业在 K8s 等成熟容器体系上运行 Agent 生产负载时,遇到了哪些超出传统认知的瓶颈?

A: 我觉得最大的误区是:企业不是“不能在 K8s 上跑 Agent”,而是把 Agent 当成传统 Web 服务去生产化时,很多假设会失效。

传统容器体系默认负载是相对无状态、请求驱动、生命周期短且边界清晰的服务;但 Agent 更像一个 “有状态的长期任务” 。它会持续多轮对话,调用工具,写文件,等待用户确认,断线后还要恢复,甚至一个任务跑几十分钟。这里会出现几个超出传统认知的瓶颈:

1. 生命周期错配

K8s 管的是 Pod,Serverless 管的是请求,但 Agent 真正的生命周期应该绑定在 session/task 上。用户断开连接,不代表任务应该死;用户一小时后回来,也希望 Agent 能接着干。

2. 状态不是一个 PVC 能解决的

Agent 的状态不只是文件,还包括对话事件流、工具调用历史、Memory、工作区、进程现场、浏览器登录态等。PVC 只能保磁盘,保不了内存、进程和执行上下文。很多团队一开始“Pod + PVC + StatefulSet”看起来能跑,后来会发现恢复、迁移、回滚、分叉都很脆弱。

3. 流式连接和执行实例绑死

SSE/WebSocket 如果直接挂在执行 Pod 上,会把用户连接、流式输出、Agent Loop 绑在一起。结果是灰度、扩缩容、故障迁移都变难。如果强做 session affinity,又会牺牲弹性。

4. 扩缩容信号失真

传统 HPA 看 CPU、QPS、连接数,但 Agent 的资源消耗很 “脉冲” :等 LLM 时 CPU 很低,工具执行时突然打满。按请求或连接扩缩容,既不准确,也容易造成成本浪费。

5. 安全隔离要求更高

Agent 是 LLM 驱动的,行为不可完全预测。它可能执行 shell、装依赖、访问内部系统、处理敏感文件。共享内核容器在强隔离、Docker in Docker、网络策略、凭证注入、审计等方面都会遇到边界。

典型“看似可行、实则踩坑”的路径,是把本地 Agent 原封不动搬到云上:先用 Deployment 或 StatefulSet 跑起来,再挂 PVC 保存工作区,再用长连接维持会话,再做 session sticky routing。Demo 阶段没问题,但一到生产就暴露问题:

空闲也占资源,断线恢复不稳定,副本故障后上下文难迁移,扩容后老 session 仍被绑在旧实例上,安全和审计也要业务团队自己拼。

我们在一些企业场景里看到过类似路径。比如服务型 Agent 要从“一个人一个 Agent”升级到“同一个 Agent 多副本服务上千用户”,这时普通负载均衡就不够了,必须区分会话亲和和状态持久化:路由层负责把请求送到对的执行单元,状态层保证副本故障后还能恢复上下文。再比如教育类 Agent 场景,学生断线重连后老师 Agent 仍要记得“你是谁、聊到哪里”,这就要求 Session Restore 和 Memory 成为运行时能力,而不能只靠业务代码临时补。

所以我的判断是:K8s 仍然是企业接入和治理 Agent 的重要入口,但不能把它当成 Agent Runtime 的全部答案。 Agent 生产化需要在 K8s 之上补一层面向 Agent 的基础设施:Session Manager、State Store、Stream Gateway、Tool Gateway、强隔离 Sandbox、暂停恢复和按任务计费。真正的变化不是“容器过时了”,而是 Agent 这种新负载把传统容器体系没有显式建模的东西暴露出来了。

02

痛点归因

Agent 生产落地的 8 大高频致命问题

Q: Agent 从 Demo 到生产,模型的“智力”问题常被优先关注。在基础设施层面,实际导致项目受阻、延期甚至回滚的高频致命问题集中在哪些维度?

A: 在服务客户和自身实践中,我们归纳了以下 8 个维度的致命痛点:

1. 状态与会话恢复

Demo 可以靠上下文窗口撑住,但生产里一定会遇到断线、重启、超时、人工确认、跨天继续。很多项目卡在这里:用户回来后 Agent 不知道之前做了什么,工具调用现场丢了,文件改到一半无法恢复。

解决思路: Session、Memory、Workspace、事件日志、快照恢复必须成为基础能力,而不是业务代码临时拼。

2. 长任务与生命周期管理

传统服务按请求结束,Agent 按任务结束。一个 Agent 可能跑几十分钟,中间还要等人确认。很多团队用长连接“吊住”实例,成本和稳定性都失控。

3. 工具执行环境与安全隔离

Agent 不只是聊天,它会运行代码、访问网页、调用内部系统。模型下一步执行什么并不完全可预测。这里需要沙箱、网络出站控制、凭证注入、文件隔离、审计日志和高危操作确认。

4. 企业系统接入与凭证治理

Agent 真正进入企业,不是只调公开 API,而是要访问 CRM、工单、财务、知识库等。很多系统只认“人”的身份,不认 Agent。项目常卡在权限继承、凭证托管、高敏操作确认、审计责任归谁。

5. 流式输出、断线重连与路由

生产里需要把 Channel、Stream、Execution 解耦:连接可以断,任务不能死;执行实例可以换,用户看到的会话要连续。

6. 可观测性与排障

Demo 失败了可以重跑,生产失败必须解释。一次失败可能来自模型、Prompt、工具、网络、权限、文件、状态恢复任意一层。如果没有完整 trace,很容易陷入“模型又抽风了”的黑盒判断。

7. 成本与容量模型

Agent 成本不是只有 Token。还有沙箱、存储、长连接、冷启动、暂停池、日志、向量检索、工具调用和人工兜底。等待时间也在占资源,长任务无法释放,峰值并发拉不起来。

8. 交付与版本管理

Agent 生产化后不是“改个 Prompt 就上线”。需要版本、灰度、回滚、评测、配置管理、IaC、环境复现。否则一次 Prompt 或工具版本变化,就可能影响已有工作流。

03

调度与资源的错配

K8s 能看见容器,看不见 Agent 的“连续性”

Q: K8s 原生的调度策略面向无状态微服务设计,而 Agent 负载兼具状态亲和性与突发性。这种设计哲学上的错配,在生产环境中具体表现为哪些可量化的痛点?

A: K8s 和 Agent 的错配,本质上不是某个参数没调好,而是调度对象不同。K8s 原生调度面对的是服务副本,而 Agent 生产里真正要调度的是一个持续演进的 session。

这种错配在生产里会表现为几类问题:

· 请求可以被调度,任务现场却调度不了。 Agent 的下一轮请求必须找到“知道前文、拿得到文件、保留了工具状态”的执行环境。

· 扩容能加副本,却不一定能缓解老会话压力。 新增副本可以接新任务,却很难无损接管已经跑了一半的任务。

· 缩容很危险。 缩掉一个正在等待用户确认的实例,可能就是把一个未完成任务直接剪断。

· 空闲不等于可释放。 Agent 经常处于等待状态,但状态必须保留。K8s 的语义里 Pod 主要是运行或销毁;Agent 需要的是暂停、冻结、唤醒、继续。

· 故障恢复不是重启容器那么简单。 没有专门的状态层和恢复机制,重启只会得到一个干净的新容器,而不是原来的 Agent。

· 调度系统看不到 Agent 真正的业务压力。 平台显示一切健康,业务侧却觉得 Agent 卡住、变慢、恢复不了。

所以我会把这件事总结为:K8s 能调度容器,但不能原生调度 Agent 的连续性。 K8s 仍然可以作为底座,但它上面必须长出一层 Agent-native runtime。

04

状态持久化与恢复的困境

PVC 保住了硬盘,保不住“工作现场”

Q: Agent 执行过程中产生的会话状态、记忆存储与中间结果,对持久化和故障恢复提出了很高要求。StatefulSet 或有状态方案为什么难以满足需求?

A: 传统 StatefulSet 对数据库、MQ 这类有明确状态边界的服务很有用。但 Agent 的状态更复杂,它不是单一数据目录,而是一组同时变化的东西:会话事件、模型上下文、Memory、工作区文件、中间产物、浏览器登录态、工具进程、外部系统授权、正在等待的人类确认。

PVC 只能保住一部分文件,保不住“Agent 做…

— 以上为试看内容(约 40%),开通会员后阅读全文 —