Agent 从 Demo 到生产级,中间到底差什么?
——不是多接几个工具,而是补齐能运行、可验证、可治理、可运营的工程体系
很多 Agent 项目在 Demo 阶段都很顺。
它能读文档,能调工具,能生成报告,甚至能把一个复杂任务拆成几步执行。演示现场只要样本足够干净、流程足够短、权限足够宽,几分钟就能让人相信“这个方向可以做”。
但真正的问题,通常出现在 Demo 之后。
一旦进入真实业务,样本不再干净,用户问题不再标准,知识版本开始冲突,工具调用有权限边界,线上结果需要被审计,错误动作要能回滚,业务方还会追问:谁来负责效果,谁来持续优化,谁来判断它是不是越跑越好?
这时企业会发现:Demo 验证的是“Agent 能不能跑通”,生产级验证的是“Agent 能不能承担责任”。
图 1:Demo Agent 与生产级Agent 的差距,不在界面,而在责任边界、评估、权限和运营机制
在 AiDD 上海站的多场分享里,这个变化已经很清楚。小红书资深工程师林能源在《从跑分到护栏:AI Agent 可观测和质量保障体系》中指出,Agent 落地的瓶颈正在从“能不能跑”转向“能不能评估”。支付宝技术部行业 Agent 工程负责人高梦飞在《让智能体可观察、可评估、可进化》中也强调,行业智能体真正关注的不是系统有没有响应,而是能不能理解真实意图,并把事情办成。
闭门会《LLM应用部署与运营:从试点到生产的完整路径》也把这个问题说得更直白:从“能演示”到“能运营”,中间要补的是上线决策、灰度策略、回滚机制、成本管理、可观测性、权限隔离、审计日志和团队协同。
所以,Agent 从 Demo 到生产级,中间差的不是一个更强模型,而是一整套工程体系。
▍第一层差距:从“提示词可用”到“业务意图清楚”
Demo 阶段最容易被忽略的,是业务意图。
很多 Agent 项目一开始就围绕能力展开:模型能总结文档,于是做知识问答;模型能写代码,于是做开发助手;模型能调工具,于是做流程自动化。能力本身没有错,但如果没有对应到具体业务现场,Agent 很容易变成“看起来会做很多事,但不知道到底该对谁负责”的系统。
生产级 Agent 的第一步,不是写提示词,而是把业务意图拆成可验证的问题:谁在什么场景里被什么任务卡住?现在靠什么方式解决?Agent 介入后,哪个指标应该变化?哪些场景必须覆盖,哪些边界必须拒绝,哪些动作必须转人工?
这也是 FDE 工作坊反复强调的起点。FDE 不是等需求写完再开发,而是进入现场,把模糊需求翻译成可运行、可验证、可迭代的AI 能力。对 Agent 来说,业务意图不清楚,后面接再多工具都只是放大不确定性。
图 2:生产级 Agent 的起点,是把模糊意图转成场景、样本、指标和边界
一个能演示的 Agent,可以靠几条精心准备的问题跑通。一个能生产使用的 Agent,则必须知道:什么样的输入代表真实任务,什么样的输出算完成任务,什么情况必须停止任务。
这一步不扎实,Agent 的每一次“自动执行”都可能是在替组织自动制造偏差。
▍第二层差距:从“一次回答”到“全过程可追踪”
传统应用的很多问题,可以通过接口、日志和状态码定位。Agent不一样。
它不是一次函数调用,而是一条决策链:理解目标,拆解任务,检索知识,选择工具,执行动作,读取返回,修正计划,生成结果。任何一步偏了,最后都可能得到一个看似完整、但实际错误的答案。
Demo 阶段通常只看最终输出:报告写出来了吗?代码生成了吗?流程跑完了吗?生产级系统必须多问几层:它为什么这样拆任务?用了哪些知识?调了哪个工具?工具返回是否被正确理解?失败后是否重试?重试有没有越权?最终结果是否能追溯到证据?
高梦飞分享中提到,智能体可观测目标已经从系统状态升维到意图执行质量。也就是说,企业不能只看服务是否可用、延迟是否正常,还要看 Agent 是否沿着正确的业务路径完成任务。
图 3:生产级 Agent 需要记录语义节点,而不只是记录系统调用
这就是 Agent 可观测性的核心变化。它不只是技术团队排障的工具,也是业务方、产品、测试、安全和运维共享的事实来源。
没有过程可观测,企业就只能在结果出错后猜测原因;有了过程可观测,团队才能把错误定位到具体环节:是意图理解错了,知识检索错了,工具调用错了,还是业务规则本身没有写清楚。
▍第三层差距:从“人工试用”到“持续评估”
很多 Agent 项目在 Demo 后进入一个危险阶段:大家觉得“体验还不错”,但没有人能说清楚它到底有多可靠。
林能源在分享中引用的行业数据很刺眼:生产 Agent 仍大量依赖人工评估,不少团队没有系统性评估;而使用评估工具和治理框架的团队,进入生产的概率显著更高。这个结论对企业很关键:Agent 能否落地,分水岭不是模型参数,而是评估能力。
生产级 Agent 至少需要三类评估。
第一类是结果评估:最终有没有答对、做对…