微软开源 Resource2Skill:把教程、代码和文档“炼”成 Agent Skill
微软最近开源了 Resource2Skill,一套把人类已有资源“炼”成可执行 Skill 的系统。论文作者来自微软、加州大学圣克鲁兹分校和上海交大,代码已经放在 microsoft/Resource2Skill 仓库中。
它想解决的问题很工程化:Agent 需要的 Skill,不能永远靠人一份一份手写。教程视频、文章、代码和参考产物里,原本就藏着大量成熟的操作经验;Resource2Skill 要做的,是把这些经验提炼出来,组织成 Agent 能检索、组合和执行的能力。
它不是一个新模型,不是 Skill 商店,也不是一个放出去就能把互联网啃干净的超级爬虫。官方实现会在“视频蒸馏”环节调用 Gemini,用来理解演示画面并提取操作过程;Gemini 是这条流水线中的一个处理组件,不是 Resource2Skill 本身。它更像一座 Skill 工厂。
人类已经录好的教程视频、写过的文章、维护的代码和做出来的参考产物,是原材料;Resource2Skill 负责发现、提炼、组织和检索这些材料,并把它们变成 Agent 能够直接执行的程序性经验。
说人话就是:以前我们手把手教同事怎么做一件事,现在它想把这套“手把手”自动炼成 Skill。
Skill 到底从哪里来
今天大多数 Skill 是人写的。
我们先观察一个任务,再把步骤、工具、约束、异常处理和验收标准塞进 SKILL.md。写完还要调触发条件、补脚本、跑测试。一个优质 Skill,可以看作一份压缩过的人类经验。
问题是,人类真正积累经验的地方,通常不是 SKILL.md。
它们散落在十几分钟的演示视频里,藏在 GitHub 仓库的代码里,埋在教程文章和文档里,也存在于 PPT、Excel、网页、Blender 工程甚至音频工程这些“参考产物”里。
这套系统做的事情,就是把这些资料重新变成 Agent 能用的经验。
图:Resource2Skill 的资源蒸馏流程。来源:项目页与论文。
整条流水线大致可以拆成五步:
1. 发现资源:围绕某个领域或能力寻找视频、代码、文章与参考产物。 2. 蒸馏经验:识别任务步骤、工具调用、关键参数、失败条件和验收方式。 3. 组织成 Wiki:按能力层级把大量 Skill 组织起来,而不是扔进一个平铺文件夹。 4. 选择和组合:Agent 接到任务后,先浏览层级,再挑出少量相关 Skill。 5. 执行与补缺:现有 Skill 不够时,再触发在线获取,补齐新的能力缺口。
注意,输出不是一篇“视频摘要”。
摘要只能告诉 Agent 视频讲了什么;Skill 则要告诉 Agent 下一步做什么、用什么工具、做到什么程度、失败了怎么办。论文里还把文字、视觉关键帧和代码片段放进同一份 Skill 表征中,因为某些操作只靠文字很难讲清。
图:官方仓库展示的多领域任务与产物。来源:Microsoft Resource2Skill GitHub 仓库。
它真正值钱的,不是批量生成 SKILL.md
如果只把 Resource2Skill 理解成“自动写 Skill 的工具”,会低估这个项目。
自动生成一份 Markdown 并不难。让模型读一篇教程,整理出步骤,现在很多 Agent 都能做到。真正困难的是:资料一多,哪些值得学;学完以后放在哪里;执行任务时应该拿哪几个;旧 Skill 和新 Skill 冲突怎么办;怎样证明使用以后真的变好。
Resource2Skill 惹人注意,是因为它开始同时处理这几层问题:资源采集、经验蒸馏、层级组织、运行时选择、在线补缺和任务评测。它试图交付的不是一个文件,而是一条可以持续生产和运营 Agent 能力的供应链。
图:项目价值归纳。基于论文方法、消融实验和本地试验,属于作者判断,不是官方宣传语。
第一层价值,是把隐性经验变成团队资产。
许多公司的“最佳实践”根本不在知识库里,而在某位同事录过的视频、某次成功提交、某份交付文件和一句“这里千万别这么配”的口头提醒里。文档搜索只能帮你找到材料,Resource2Skill 想进一步把材料里的动作、顺序、边界和验收标准提出来。经验由“知道去哪问谁”,变成“Agent 能按步骤执行什么”。
第二层价值,是压缩运行时上下文。
普通 RAG 容易把几篇相关文档塞给模型,模型还得临场判断哪些是背景、哪些是操作步骤。Skill Wiki 则把昂贵的阅读和整理提前做掉;真正执行任务时,先通过层级浏览缩小范围,再取少量相关 Skill。论文中的选择实验也说明,随机把整个 Skill 池交给 Agent,成绩只比没有 Skill 高一点;层级浏览再由模型选择,效果才明显。这意味着组织和选择本身就是能力的一部分。
第三层价值,是让经验与单一模型适度解耦。
模型会换,团队会换,项目也会换。如果一套经验只存在某个人的 Prompt 历史里,它几乎无法迁移。Skill 把工具步骤、检查点和产物要求放到模型之外,同一份经验就有机会被不同 Agent 后端复用。当然,这不是完全解耦:不同模型使用同一 Skill 的效果仍然不同,论文的七领域结果已经把差异画得很清楚。
第四层价值,是让“Agent 学会了没有”开始可以评测。
手工经验最麻烦的地方,是大家都觉得有用,却很少做同题对比。Resource2Skill 的论文把 Skill 池规模、来源、表征方式、选择策略和在线获取逐项拆开做消融。对于团队落地,这种思路比具体分数更重要:一个 Skill 不是写完就进入祖传目录,而是要用固定任务比较,表现不好就修改、降级或删除。
第五层价值,才是自动从互联网补充新能力。
它并不鼓励 Agent 每次任务都重新上网学习。论文里,在线获取对标准任务只增加 0.7 个百分点,对新能力缺口任务却增加 21.6 个百分点。正确的顺序是:先复用已经验证的离线 Skill;确认覆盖不足,再带着明确问题出去找。这让“自动学习”从一个无限任务,收缩成一个有触发条件、有停止点的工程过程。
放到一个包含很多子项目的代码库里,价值也不是给每个目录生成一份说明书。更合理的目标,是提炼跨项目重复出现的工程套路,同时保留每个项目自己的边界:公共流程进入共享 Skill Wiki,项目差异留在局部适配层,再通过真实任务决定哪些经验值得继续维护。
它怎样从“网上那么多资料”里找到想要的东西
这里必须给热闹降一点温。
目前的公开实现,并不是把整个互联网抓回来建立一座无穷知识库。以视频为例,它更接近一条定向流水线:根据领域和能力生成搜索词,通过 yt-dlp 的 ytsearch 查找 YouTube 视频,再按时长过滤、去重,并结合标题、频道、播放量等信息筛选候选资源。
筛完以后,系统把公开视频地址和针对当前领域的蒸馏提示交给 Gemini,让模型分析视频并输出 Skill;如果需要视觉证据,还能通过 yt-dlp 和 ffmpeg 抽取关键帧。
图:依据官方代码整理的在线视频发现流程。来源:core/collector.py、core/sources/youtube.py。
所以它解决的是“带着能力问题去找材料”,不是“把网上所有东西都搜一遍”…