AI智能体需要的是反馈循环,而不是完美的提示词
智能体需要的是反馈循环,而不是完美的提示词
对于从事判断类工作(judgement-heavy)的智能体(Agent)来说,最初的提示词只是一个起点。最好的智能体能够从团队身上学到什么是"好"的标准,并随着时间推移不断自我进化。
每个人都在尝试为智能体编写更好的提示词。这确实有用,但它忽略了一个重要的挑战:今天你能写出的最好的提示词,一个月后可能就不再是最佳方案了。
你的产品在变化,用户在变化,团队的品味在不断打磨,新的边缘案例不断出现。而且,如果智能体做的工作需要判断力和品味,任何静态的提示词都不可能覆盖它需要知道的一切。
这个问题把我们要问的问题从"如何写出完美的提示词"变成了"如何构建一个在发布后能持续向团队学习的智能体?"
我们在Warp构建一个帮助开发者体验团队处理社交媒体提及时就遇到了这个问题。我们喜欢和用户聊Warp,听取他们的疑问和反馈,认真对待每一个和我们交流的人。我们社区每周产生超过一千条提及!这种情况下小团队根本跟不上。
那些"差点就成"的智能体面临的挑战
在很多智能体开发中,核心循环很直接:智能体尝试某件事,检查是否成功了,然后重试。如果是写代码,通常有明确的信号可以用:测试、构建、浏览器检查、命令行输出。
社交媒体回复可没那么简单,因为智能体没有合适的"外部检查"可用。它不能先发一堆公开回复,然后等着看人们是更信任我们还是更不信任我们,去推断品牌调性是否对,然后再重试。这个反馈循环太长、太嘈杂、成本也太高。很多公司内部的有用工作也是如此:客户外联、客服回复、代码审查意见、产品反馈分析、文档、招聘消息。这些都需要知道什么重要、什么时候不该行动。
我们见过很多智能体卡在这种状态:它们"差点就成"。能力显然存在,输出好到让人抱有些希望,但还没好到可以放心信任的程度。团队不停地调整提示词,指望下一个版本能缩小差距。
我认为这是错误的抽象层次。让智能体做对一次不是难点。难点在于构建一个系统,让智能体能从团队已有的工作方式中不断变好。
我们构建的智能体
我们把这个智能体叫做Buzz。Buzz监控Twitter、LinkedIn和其他平台上的Warp提及。当有新提及时,它会决定我们应该回复、点赞、记录还是跳过。如果应该回复,它会起草一条消息并把建议发布到Slack上。
右图:Slack频道里给Buzz的反馈。左图:每日PR,Buzz把技能更新链接到这里。
最终每条回复仍然由我们亲自撰写,但仅此一项就节省了大量时间:团队不再需要盯着每个平台、打开每个话题、决定每个提及是否重要、每次回复都从头开始。我们想在不牺牲有价值的互动或质量的前提下,尽可能自动化一切。每条回复都是公开的,代表我们的品牌,塑造人们对公司的体验。我们需要智能体学习团队是如何看待社区互动的。
原则优于规则
Buzz的第一个版本和很多智能体的第一个版本很像:一个长长的检查清单规则。如果有人提到bug,这样说;如果有人把我们和另一个工具比较,那样说;如果有人问价格,提一下这个套餐。
这非常脆弱。提示词越来越长,回复变得机械,智能体一遇到我们没告诉它的情况…