从上下文中自动提取Skill !清华等提出 Ctx2Skill,上下文学习新方案
一句话讲清楚👉🏻 Ctx2Skill 想解决的是一个很现实的问题:当大模型面对一份很
📄 论文页面
https://arxiv.org/abs/2604.27660
长、很复杂、甚至完全超出参数记忆的文档时,能不能自己从里面提炼出“可复用技能”,以后遇到同类问题直接按技能办事,而不是每次重新硬读一遍上下文。
这篇论文来自清华大学、 DeepLang AI 、 UIUC 、复旦大学、香港中文大学等机构。论文题目是《 From Context to Skills: Can Language Models Learn from Context Skillfully?》,提出的框架叫 Ctx2Skill 。
它的目标不是再做一个更花哨的 RAG ,也不是让模型多背一点知识,而是把“上下文学习”这件事往前推一步:
更有意思的是,它不依赖人工标注,也不需要外部环境给出执行反馈。整个技能发现过程靠多智能体自博弈完成:一个模型负责出题,一个模型负责解题,一个模型负责判题;失败会推动 Reasoner 补技能,成功会推动 Challenger 出更刁钻的题。
听起来有点像“自己给自己出卷子,自己批改,自己总结错题本”。但论文真正难的地方在于:这种自博弈很容易失控。出题方越出越偏,解题方越学越窄,最后技能集看起来很厚,泛化反而变差。为了解决这个问题,作者又加了一个 Cross-Time Replay (跨时间重放) 机制,从不同迭代阶段里挑出最平衡的技能集,而不是盲目相信最后一轮。
为什么“从上下文中学技能”越来越重要
大模型今天已经很会“读上下文”了。你给它一段文档、一段规则、一段代码说明,它常常能现场回答问题。
但问题也在这里:很多真实任务里的上下文,不是几段说明,而是长文档、多表格、多步骤流程、领域规则和隐含约束混在一起。比如:
这类任务要求模型做的不是“检索一句话”,而是理解一整套操作规范,然后迁移到新问题上。
论文把这种能力叫做 context learning (上下文学习) :模型要直接从给定上下文中学到相关知识,而这些知识可能并不存在于它的参数记忆里。
作者指出,已有路线有两个明显瓶颈。
第一,人工标注技能太贵。要把一份复杂上下文提炼成技能,标注者必须真正读懂整份材料,还要判断哪些规则重要、哪些步骤可复用、哪些例外不能漏。这个过程认知负担很高,规模化成本也很难接受。
第二,很多上下文学习任务缺少外部反馈。写代码可以跑测试,数学题可以对答案,游戏环境可以执行动作。但如果模型从一份长文档中抽出一条“技能”,我们很难自动判断它是否忠实、完整、可用。没有反馈,就很难自动优化技能。
Ctx2Skill 的切入点就是:既然没有人工标注,也没有外部反馈,那能不能让模型自己制造反馈?
Ctx2Skill 的核心:用自博弈逼出技能
Ctx2Skill 里最核心的设计,是一个面向技能优化的 self-play loop 。它不是简单让模型“总结一下文档”,而是让不同角色围绕同一份上下文不断对抗。
主要角色有三个:
另外还有两类辅助角色: Proposer 和 Generator 。 Proposer 负责诊断问题, Generator 负责把诊断转成具体技能修改。
这套流程可以拆成六步。
第一步, Challenger 出题。 它拿到原始上下文和自己的 Challenger 技能集,生成若干任务,以及每个任务的评分标准。注意,评分标准很关键,因为后续反馈都来自这里。
第二步, Reasoner 解题。 Reasoner 拿到上下文、任务和自己的 Reasoner 技能集,生成答案。
第三步, Judge 判题。 Judge 逐条检查评分标准。论文采用的是“全或无”的任务求解定义:只要某个任务有一个评分标准没过,这个任务就不算解决。
第四步,结果分流。 没答好的任务进入失败集合,答好的任务进入成功集合。
第五步,失败推动 Reasoner 学技能。 Reasoner 侧的 Proposer 分析失败案例,判断当前技能集缺了什么知识、规则或流程; Generator 再把这个诊断转成新的自然语言技能。
第六步,成功推动 Challenger 变强。 如果 Reasoner 已经能解决某些任务, Challenger 侧也会总结成功案例,更新自己的出题策略,下次更精准地探测 Reasoner 的薄弱点。
我认为这才是 Ctx2Skill 和普通自动总结最不一样的地方:它不是只训练答题者,而是连出题者也一起训练。
一套是 Reasoner 技能集 ,用来帮助模型理解上下文、解决任务。
另一套是 Challenger 技能集 ,用来帮助出题方生成更有效的测试任务和评分标准。
这就形成了一个动态对抗系统。 Reasoner 不断补自己的短板, Challenger 也不断升级自己的“考法”。如果只让 Reasoner 更新,任务很快会变得太容易;如果只让 Challenger 变难, Reasoner 又可能被压垮。论文的设计是让两边都进化。
我的理解是, Ctx2Skill 最像一个“自动化错题本系统”。区别在于,普通错题本只记录你错了什么,而 Ctx2Skill 还会让出题老师一起进化:当你掌握了旧知识点,老师会换一种角度继续考你。
技能不是向量,而是一份 Markdown
很多人一听“技能”,可能会想到模型参数、 LoRA 、工具调用脚本,或者某种隐藏向量。但 Ctx2Skill 里的技能非常朴素:就是自然语言 Markdown 。
技能会被放进系统提示中,和上下文、任务一起输入模型。这样做有三个好处。
第一,可读。人可以直接检查模型到底总结了什么。
第二,可编辑。如果技能不对,理论上可以人工修。
第三,可迁移。自然语言技能不绑定某个模型内部结构,强模型生成的技能有机会给弱模型用。
这也是论文后面做“技能迁移”实验的原因:如果 GPT-5.1 生成的技能可以帮助 GPT-4.1 ,那说明技能里确实包含了可复用知识,而不只是某个模型自己的提示词偏好。
最大风险:自博弈会把系统带偏
自博弈听上去很优雅,但它有一个天然风险:对抗会越来越极端。
论文把这个问题叫 Adversarial Collapse (对抗性崩溃) 。它大概会这样发生:
这很像刷题刷偏了:你可能越来…