如何为你的 Skills 构建一个自我改进循环

最近,围绕如何用“循环”来驱动 Agent,出现了很多讨论。与此同时,大家也开始产生一个疑问:所谓的 loop,到底指的是什么?

我无法代表所有使用这个术语的人,但我想展示一种非常实用的方法:使用 Skills 和云端 Agent,构建一种特别强大的循环形态,也就是自我改进循环。

所谓自我改进循环,核心思想是:Agent 可以根据外部反馈,持续提升自身 Skills 的质量。

我下面举的例子包含一个人工反馈环节。但如果你有一个清晰目标,并且这个目标不需要人工判断,也可以用同样的方法接入自动评分器。

为了让问题更具体,我们假设有一个 Skill 专门做 issue 分诊,也就是把新进来的 issue 分成几个类别:

待实现

重复问题

需要补充信息

同样的思路,也适用于代码审查 Skill、Bug 修复 Skill、事故响应 Skill 等场景。

一个初版 Skill 大概会是这样:

完整的 triage-issue Skill

你需要做的,是搭建下面两个循环。

内层 Agent 循环:真正执行 Skill

内层 Agent 循环负责实际应用这个 Skill。

以 issue 分诊为例,你可以手动运行它。更常见的方式是,把它和任务跟踪系统集成起来,让它在每次有新 issue 提交时自动运行。

Skill 的每一次交互都会被记录下来。记录位置可以是一个文件,也可以是 Agent trace,或者 Slack、GitHub 这类外部系统中的一次交互。

外层 Agent 循环:观察并改进 Skill

外层 Agent 循环,是一个按计划运行的 Agent。它会观察内层循环中 Skill 的使用情况。

对于 issue 分诊器来说,这通常会是一个云端 Agent。它会拉取每一次 Triage Agent 运行的记录,分析这些运行结果,并根据表现调整它所使用的 Skill。

因为 Skills 本质上就是文件,所以这个 Agent 要做的事情,就是根据过去运行中的用户反馈,为 Skill 生成一个改进 diff。

下面我会用 Warp 和 Oz 来展示这个过程。Oz 是我们的云端 Agent 平台。不过,实现这套机制的方法并不只有这一种。

在这个例子中,我们会使用 GitHub Issues 作为 issue 跟踪系统。

这里有一个示例仓库,里面包含 Skills 和 GitHub workflows,可以跟着操作。

第一步:搭建内层 Agent 循环

内层 Agent 循环使用一个 GitHub Action,在每次有新 issue 创建时运行。

完整的 GitHub Action

这个 GitHub Action 会通过 Oz 调用一个云端 Agent,也就是 Warp 的云端 Agent 平台。

这个云端 Agent 会同步仓库,读取 GitHub 中的 issue 内容,然后尝试对它进行分类。具体如何配置,示例仓库中有对应代码。

这样一来,当一个新 issue 进入系统时,云端 Agent 就会运行内层循环中的 triage Skill,并给这个 issue 打上一个标签,例如表示这是一个已经准备好实现的新功能需求。

第二步:搭建用于自我改进的外层循环

接下来,假设人工审核者不同意 Agent 的判断。

作为查看 Agent 自动分配标签的人,我把这个 issue 从“ready to implement”改成了“needs info”,并在线程中添加了一条评论,说明它为什么被误分类。

比如,这个 issue 之所以不能直接进入实现阶段,是因为我们还不确定是否应该为这个新功能增加一个设置项。

这时,外层循环就变得有价值了。

外层循…

— 以上为试看内容(约 40%),开通会员后阅读全文 —