从上下文中自动提取Skill !清华等提出 Ctx2Skill,上下文学习新方案

一句话讲清楚👉🏻 Ctx2Skill 想解决的是一个很现实的问题:当大模型面对一份很

📄 论文页面
https://arxiv.org/abs/2604.27660

长、很复杂、甚至完全超出参数记忆的文档时,能不能自己从里面提炼出“可复用技能”,以后遇到同类问题直接按技能办事,而不是每次重新硬读一遍上下文。


这篇论文来自清华大学、 DeepLang AI 、 UIUC 、复旦大学、香港中文大学等机构。论文题目是《 From Context to Skills: Can Language Models Learn from Context Skillfully?》,提出的框架叫 Ctx2Skill 。


它的目标不是再做一个更花哨的 RAG ,也不是让模型多背一点知识,而是把“上下文学习”这件事往前推一步:


•传统做法是把上下文塞进提示词,让模型边读边答;
•Ctx2Skill 则先让模型把上下文里的规则、流程、约束、判断标准提炼成自然语言技能;
•后续答题时,模型带着这份技能集再去处理任务。


更有意思的是,它不依赖人工标注,也不需要外部环境给出执行反馈。整个技能发现过程靠多智能体自博弈完成:一个模型负责出题,一个模型负责解题,一个模型负责判题;失败会推动 Reasoner 补技能,成功会推动 Challenger 出更刁钻的题。


听起来有点像“自己给自己出卷子,自己批改,自己总结错题本”。但论文真正难的地方在于:这种自博弈很容易失控。出题方越出越偏,解题方越学越窄,最后技能集看起来很厚,泛化反而变差。为了解决这个问题,作者又加了一个 Cross-Time Replay (跨时间重放) 机制,从不同迭代阶段里挑出最平衡的技能集,而不是盲目相信最后一轮。



Ctx2Skill 的直观目标:从复杂上下文中提炼规则和流程,变成模型可复用的自然语言技能。


为什么“从上下文中学技能”越来越重要


大模型今天已经很会“读上下文”了。你给它一段文档、一段规则、一段代码说明,它常常能现场回答问题。


但问题也在这里:很多真实任务里的上下文,不是几段说明,而是长文档、多表格、多步骤流程、领域规则和隐含约束混在一起。比如:


•企业内部 SOP ,里面有大量例外情况;
•医疗、法律、金融场景里的规则手册;
•科研论文或技术报告里的复杂方法;
•一个软件系统的接口说明、配置要求和调试经验;
•一个游戏、仿真系统或业务系统的运行规则。


这类任务要求模型做的不是“检索一句话”,而是理解一整套操作规范,然后迁移到新问题上。


论文把这种能力叫做 context learning (上下文学习) :模型要直接从给定上下文中学到相关知识,而这些知识可能并不存在于它的参数记忆里。


作者指出,已有路线有两个明显瓶颈。


第一,人工标注技能太贵。要把一份复杂上下文提炼成技能,标注者必须真正读懂整份材料,还要判断哪些规则重要、哪些步骤可复用、哪些例外不能漏。这个过程认知负担很高,规模化成本也很难接受。


第二,很多上下文学习任务缺少外部反馈。写代码可以跑测试,数学题可以对答案,游戏环境可以执行动作。但如果模型从一份长文档中抽出一条“技能”,我们很难自动判断它是否忠实、完整、可用。没有反馈,就很难自动优化技能。


Ctx2Skill 的切入点就是:既然没有人工标注,也没有外部反馈,那能不能让模型自己制造反馈?


Ctx2Skill 的核心:用自博弈逼出技能


Ctx2Skill 里最核心的设计,是一个面向技能优化的 self-play loop 。它不是简单让模型“总结一下文档”,而是让不同角色围绕同一份上下文不断对抗。


主要角色有三个:


•Challenger : 根据上下文生成任务和评分标准;
•Reasoner : 根据上下文和当前技能集尝试回答任务;
•Judge : 按评分标准判断答案是否通过。


另外还有两类辅助角色: Proposer 和 Generator 。 Proposer 负责诊断问题, Generator 负责把诊断转成具体技能修改。


这套流程可以拆成六步。


第一步, Challenger 出题。 它拿到原始上下文和自己的 Challenger 技能集,生成若干任务,以及每个任务的评分标准。注意,评分标准很关键,因为后续反馈都来自这里。


第二步, Reasoner 解题。 Reasoner 拿到上下文、任务和自己的 Reasoner 技能集,生成答案。


第三步, Judge 判题。 Judge 逐条检查评分标准。论文采用的是“全或无”的任务求解定义:只要某个任务有一个评分标准没过,这个任务就不算解决。


第四步,结果分流。 没答好的任务进入失败集合,答好的任务进入成功集合。


第五步,失败推动 Reasoner 学技能。 Reasoner 侧的 Proposer 分析失败案例,判断当前技能集缺了什么知识、规则或流程; Generator 再把这个诊断转成新的自然语言技能。


第六步,成功推动 Challenger 变强。 如果 Reasoner 已经能解决某些任务, Challenger 侧也会总结成功案例,更新自己的出题策略,下次更精准地探测 Reasoner 的薄弱点。



Ctx2Skill 的完整流程:自博弈循环负责产生和改进技能,跨时间重放负责从历史技能候选里挑出更稳的版本。


我认为这才是 Ctx2Skill 和普通自动总结最不一样的地方:它不是只训练答题者,而是连出题者也一起训练。


一套是 Reasoner 技能集 ,用来帮助模型理解上下文、解决任务。


另一套是 Challenger 技能集 ,用来帮助出题方生成更有效的测试任务和评分标准。


这就形成了一个动态对抗系统。 Reasoner 不断补自己的短板, Challenger 也不断升级自己的“考法”。如果只让 Reasoner 更新,任务很快会变得太容易;如果只让 Challenger 变难, Reasoner 又可能被压垮。论文的设计是让两边都进化。


我的理解是, Ctx2Skill 最像一个“自动化错题本系统”。区别在于,普通错题本只记录你错了什么,而 Ctx2Skill 还会让出题老师一起进化:当你掌握了旧知识点,老师会换一种角度继续考你。


技能不是向量,而是一份 Markdown


很多人一听“技能”,可能会想到模型参数、 LoRA 、工具调用脚本,或者某种隐藏向量。但 Ctx2Skill 里的技能非常朴素:就是自然语言 Markdown 。


技能会被放进系统提示中,和上下文、任务一起输入模型。这样做有三个好处。


第一,可读。人可以直接检查模型到底总结了什么。


第二,可编辑。如果技能不对,理论上可以人工修。


第三,可迁移。自然语言技能不绑定某个模型内部结构,强模型生成的技能有机会给弱模型用。


这也是论文后面做“技能迁移”实验的原因:如果 GPT-5.1 生成的技能可以帮助 GPT-4.1 ,那说明技能里确实包含了可复用知识,而不只是某个模型自己的提示词偏好。


最大风险:自博弈会把系统带偏


自博弈听上去很优雅,但它有一个天然风险:对抗会越来越极端。


论文把这个问题叫 Adversarial Collapse (对抗性崩溃) 。它大概会这样发生:


•Challenger 为了难倒 Reasoner ,生成越来越刁钻、越来越长、越来越偏的任务;
•Reasoner 为了应对这些任务,开始补越来越具体、越来越局部的技能;
•技能集变厚了,但学到的是“应付当前出题风格”的技巧;
•换到真实未见任务上,泛化反而下降。


这很像刷题刷偏了:你可能越来…

— 以上为试看内容(约 40%),开通会员后阅读全文 —