SkillForge:让技能自己学会进化



"三阶段Pipeline自动诊断失败、定位技能缺陷、重写技能文件,迭代循环让技能自己进化——自动演化三轮后,超越了人类专家手工维护的版本。"


编者按:企业场景有个特殊痛点:领域知识很深,技能写出来却很浅。通用技能生成器写出来的东西太泛,和真实任务对不上。领域专家手工写?费时间,而且写完就固定了——实际运行中发现的问题,没人系统性追踪回去改技能。这篇论文来自云计算领域的工业实践,用三阶段Pipeline自动诊断失败、定位技能缺陷、重写技能文件,迭代循环让技能自己进化。最反直觉的发现是:自动演化三轮后,超越了人类专家手工维护的版本。


一、企业技能的两个经典痛点

企业场景下,Agent技能面临着两个结构性困境,这两个困境导致技能质量难以持续提升。

痛点一:冷启动难

通用技能生成器(比如Claude Code)写出来的SKILL.md,内容很泛,往往只有抽象的工作流描述:"分析问题,调用工具,给出方案"。但企业场景需要的是具体的操作流程。以云技术支持为例,它有明确的工作流:DNS解析失败 → 检查DNS记录 → 检查防火墙 → 检查负载均衡。没有领域数据喂养,生成的技能就是空壳,无法指导Agent完成真实任务。

痛点二:部署后不改进

技能写好上线了,Agent跑任务,有时候成功有时候失败。失败的case呢?要么记录在日志里没人看,要么人工review但不会系统性改技能文件。时间久了,技能质量就停滞(stagnant)。明明积累了大量运营数据,却没办法把它们变成技能改进信号。这是一个巨大的浪费——数据在积累,但技能在腐烂。

这两个痛点形成了一个恶性循环:起点质量低 → 失败率高 → 运营数据多但无反馈机制 → 技能永不改进。SkillForge要打破的就是这个循环。


二、核心增量:从停滞到自演化

❌ 旧方案:手工写技能 → 上线 → 失败积压在日志 → 技能质量停滞

传统模式下,技能是静态资产。专家写完,上线运行,失败case沉淀在日志里。偶尔有人看一眼,偶尔修个bug,但没有系统性机制把失败反馈回技能本身。技能质量在上线那一刻达到峰值,之后只可能退化。

✅ 新方案:领域初始化 → 上线 → 自动诊断失败 → 自动改技能 → 循环进化

SkillForge提出三阶段Pipeline(Analyzer → Diagnostician → Optimizer),自动把失败映射回技能缺陷并重写,迭代循环让技能自己进化。每一个失败case都成为技能改进的燃料。

用人话说一遍:想象你在运营一个客服团队。客服(Agent)拿技能手册接电话,有的接得好,有的接得差。质检员(Failure Analyzer)听录音,从四个角度分析哪里有问题。技能编辑(Diagnostician + Optimizer)看着质检报告,翻技能手册,定位问题章节,补上缺失内容。下一轮客服拿新手册接电话,成功率涨了。技能自己学会了进化。


三、五阶段Pipeline详解

SkillForge的演化Pipeline分为五个阶段,形成完整的"执行-诊断-修复"闭环。

Phase 0:领域初始化(Domain-Contextualized Skill Creator)

冷启动阶段,不是从零开始,而是从领域数据中挖掘初始技能。三个核心步骤:

  • Workflow Mining:从历史工单中挖掘典型工作流
  • Tool Mining:识别常用工具和调用模式
  • Knowledge Extraction:提取领域知识点

输出是初始技能文件Skill_v0,质量比通用生成器高4.3个百分点。

Phase 1:执行与失败分析(Execution + Failure Analyzer)

Agent执行任务,系统识别Bad Cases。Failure Analyzer对每个失败进行四维度分析:

Knowledge(知识):有没有说错事实?信息是否准确?

Tool(工具):有没有漏查系统?工具调用是否完整?

Clarification(澄清):有没有问多余的话?信息收集是否高效?

Style(风格):有没有太冷冰冰?语气是否恰当?

四维度分析是精准定位问题根源的关键。同一个"回答不对",可能是知识缺,也可能是工具漏调用,诊断不同,改法不同。

Phase 2:聚合(Aggregation)

按类别聚合失败记录,选择代表性案例。不是每个失败都独立修复,而是聚类后找共性——改一处,解决一类。

类比:医生看病历,不是每个病人单独开药,而是找病根——10个病人同一个病因,开一个处方就够了。

Phase 3:诊断(Diagnostician)

诊断Agent用ReAct模式,边读技能边推理边映射。这是整个Pipeline的核心:

1. 读SKILL.md(理解当前技能结构)

2. 看失败报告(理解失败症状)

3. 推理病因(映射失败到技能缺陷位置)

4. 开处方(生成优化计划)

不是简单匹配,是推理。同一个"工具漏调用"失败,在不同场景下可能对应不同的技能缺陷位置,需要Agen…

— 以上为试看内容(约 40%),开通会员后阅读全文 —