我们为什么放弃了Dify,自己搭了一套Agent平台
一个关于"天花板"的故事
大概一年前,我们和很多团队一样,用Dify快速搭起了第一版Agent系统。
它确实解决了从0到1的问题——不用自己写沙箱,不用自己写工具调用协议,拖拖拽拽就能上线一个能用的Agent。那段时间,团队都很满意。
直到有一天,我们需要给不同租户做更细粒度的资源隔离,需要让某个Skill在独立的运行环境里跑,需要一个更灵活的多Agent协作方式——才发现,低代码平台的"拖拽"背后,其实是一堵看不见的墙。它把工程细节都替你屏蔽掉了,连你想动手改的权利,也一并拿走了。
于是我们决定:自己搭一套。
这篇文章,想聊聊这一年里,作为架构师,我对"怎么设计一个Agent系统"这件事,想清楚的几层道理。
第一层道理:别停在"会说话"这个阶段
刚开始做Agent的人,几乎都会经历同一条路径:先琢磨怎么把prompt写得更精准,再琢磨怎么把知识和工具喂给模型,最后才会意识到——光有嘴,没有身体,Agent什么都干不成。
我把这条路径归纳成四个阶段:
Prompt Engineering,解决的是"怎么让模型听懂一句话";
Context Engineering,解决的是"怎么给模型喂对信息";
Harness Engineering,解决的是"怎么给模型搭一具能真正干活的身体";
Loop Engineering,解决的是"怎么让Agent学会自己迭代,而不是每次都要人推一把"。
大多数团队的困境,其实不是模型不够聪明,而是他们一直在优化"嘴巴",却从没给Agent搭过一具像样的"身体"。这具身体,才是决定Agent系统上限的地方。
第二层道理:隔离这件事,没有捷径可走
如果你的Agent系统要服务多个客户,"隔离"两个字听起来简单,做起来处处是坑。
我们最后落地的方案,是一套基于Kubernetes的沙箱架构:每个Skill跑在独立的虚拟环境里,避免互相污染依赖;轻量任务尽量共置在同一个Pod里,减少调度开销;而遇到重任务,就把它卸载到带资源限制的K8s Job里去跑——绝不让一个失控的任务拖垮整个系统。
这套东西最有意思的地方在于:官方的Agent SDK文档里,根本没提到怎么做K8s Job卸载这件事。所有的细节,都是我们自己一点点摸出来的。这大概是做基础设施架构最真实的处境——文档…