好东西都是总结出来的,创造 Skill 的 Skill,元 Skill 方法论,全文2w字
全文视化概览(一页纸)
核心公式
好东西 = 总结出来 ≠ 设计出来
OTF(边做边总结) + JIT(小步快跑) + Bootstrap(自举)
知识自动增长,人工投入递减
演进规律:从执行到自治
冷启动:人工执行,0% 自动,产出数据。
模式涌现:边做边总结,20% 自动,产出模式。
知识固化:Agent 学习,60% 自动,产出 Skill。
系统自治:自主运行,90%+ 自动,产出 META。
知识资产:四层复用金字塔
脚本工具:Lint / Extract / Render / Transform,90%+ 主要是微调参数。
项目 Skill:实体标注 / 事件识别 / 消歧,60%-80% 需要适配。
META 技能:反思 / 迭代 / 冷启动,100% 跨项目通用。
元元方法:演进式方法论,100% 跨领域通用。
五层抽象:知识压缩过程
层1 案例:具体错误、修正记录。
层2 模式:错误模式、工具模式。
层3 原则:OTF + JIT + Bootstrap。
层4 洞察:总结是唯一的知识来源。
层5 哲学:演进 > 设计。
三个反常识
不是先设计完美方案再执行,而是先执行最小版本,边做边总结优化。
不是等项目结束再总结,而是每轮迭代都总结,知识实时沉淀。
不是追求一次性完美,而是快速交付 60% 质量,再迭代收敛到 95%。
阅读导航
零、核心命题:3 分钟快速理解。
一、通用方法论框架:OTF + JIT + Bootstrap 详解。
二、五层抽象金字塔:如何提炼知识。
三、为什么总结:认知科学与信息论基础。
四、实战案例:史记项目全流程复盘。
五、Agent 学习路径:如何让 AI 自主总结。
零、核心命题
一句话
好东西都是总结出来的,不是发明出来的。
核心方法论:OTF + JIT + Bootstrap
OTF = On-The-Fly,即时总结
不是做完再总结,而是边做边总结。
发现模式的那一刻,就立即记录、归纳、应用。
总结不是项目结束时的附加动作,而是执行过程的一部分。
JIT = Just-In-Time,即时交付
不是一次性做完美,而是及时交付最小可用版本。
先跑起来,再拿反馈,再改进,再收敛。
重点不是“第一次就对”,而是“每一轮都更对”。
Bootstrap = 知识自举
每一步迭代,都会产生下一步可复用的元知识。
知识会在迭代中自我增殖,自动化程度递增,人工干预递减。
一开始是人带系统跑,后面是系统反过来加速人。
OTF + JIT + Bootstrap = 自举式知识增殖系统
三个推论
- 知识是压缩
— 从10,000个案例→100条模式→10条原则→1个洞察 - 理解是归纳
— 看到规律才算真正理解,没有规律就没有知识 - 方法是沉淀
— 做一次是经验,做十次总结出来才是方法论
演进式方法论总纲
一、基本原则
演进 > 设计:多总结,少设计。
聚焦 > 全面:一次只做一件事。
实践 > 理论:好东西都是总结出来的。
二、操作层次
观察现象:先记录案例。
识别关键:判断什么最影响结果。
提取模式:从重复现象里发现规律。
固化方法:把规律写成文档、脚本、Skill。
三、迭代策略
小粒度:从小问题开始。
小工具:优先解决最痛的重复劳动。
小周期:快速反馈,快速迭代。
四、价值导向
防止重复犯错:把隐性知识显性化。
降低认知负荷:把方法标准化。
提高复用效率:让模式可以迁移。
所有元技能清单
本项目最终形成14个元技能(13个方法论+1个元元技能)。
核心元技能(本文涉及):
注:另有00-META-05(知识作为上下文压缩)、00-META-06(SKILL优化与演化)、00-META-12(数据融合)、00-META-13(技能迁移)共14个元技能。
层级关系:
元元技能
本文档讨论的是“如何总结”本身,也就是关于总结的总结。
往下一层,是方法论元技能
迭代工作流、冷启动、柳叶刀方法、标注体系设计、可读性、质量控制。
它们回答的是:复杂知识工程任务,应该怎么做。
再往下一层,是执行层元技能
实体标注、事件识别、消歧、渲染、发布、数据融合、技能迁移。
它们回答的是:具体任务,实际怎么落地。
核心关系
所有元技能都不是预先设计出来的,而是从大量任务里总结出来的。
每个元技能都遵循同一套抽象路径:案例 → 模式 → 原则 → 洞察 → 哲学。
本文档不是替代其他元技能,而是解释这些元技能为什么会长成现在这样。
核心关系: - 所有8个元技能都是通过总结提炼出来的(而非预先设计) - 每个元技能的形成都遵循五层抽象金字塔(案例→模式→原则→洞察→哲学) - 本文档(元元技能)是对"如何总结"的递归总结
一、通用方法论框架
本章导航:本章分为两部分 1. 通用原则(1.1-1.6节):从多年实践中抽象出的知识处理方法论 2. 实践机制(1.7-1.8节):OTF + JIT 作为方法论的具体落地机制
1.1 总结的双重目标
目标1:决策优化 — 在实践中检验逻辑,建立优先级的深刻共识
总结有两个目标:一是理解更深,二是方法更稳。
目标1:决策优化
理解深度不是停在 Framework,而是继续追到 Rationale,最后长出 Insight。
Framework 解决“怎么做”,Rationale 解决“为什么这样做”,Insight 解决“下一次还会发生什么”。
目标2:方法沉淀
沉淀路径不是一句空话,而是清晰的五级演化:案例 → 方法 → 流程 → 制度 → 文化。
一次是经验,三次可以总结为方法,十次才能稳定成流程。
实践方法: - 每件事都追问:为什么做?为什么不做其他? - 记录决策过程,而非只记录决策结果 - 周期性回顾:这个决策的rationale现在还成立吗?
目标2:方法沉淀 — 将有效方法固化为可复用模式
实践方法: - 一次是经验,三次总结为方法,十次固化为流程 - 方法文档化:写成SKILL文档、检查清单、自动化脚本 - 定期审查:哪些方法已失效?哪些需要更新?
1.2 知识提炼的四个层次
基于"复盘四步法"抽象出的通用框架:
1. 观察层:记录现象
- 做了什么?结果如何?
- 数据是什么?异常在哪里?
2. 分析层:识别关键
- 哪一步是关键步骤?
- 哪个因素影响最大?
3. 归纳层:提取模式
- 有哪些重复规律?
- 其他案例是否支持这个规律?
4. 演绎层:形成方法
- 如何应用到新场景?
- 边界条件是什么?
核心价值: - 防止Agent在同一个地方犯错 - 将隐性知识显性化(人类执行经验 → Agent可读的SKILL) - 从单次执行提升为可复用的Agent知识资产
实践案例(抽象版本):
观察:处理了130章数据,发现13,000个错误
↓
分析:60%是消歧问题,这是关键瓶颈
↓
归纳:消歧错误遵循25个模式(如"同名不同人")
↓
演绎:开发自动检查工具,规则覆盖80%的情况
1.3 创新的边界与节奏
聚焦原则:一次只解决一个核心问题
失败模式:"换四个引擎"
同时改变数据模型 + 处理工具 + 工作流程 + 评价标准
→ 无法定位问题根源
→ 认知负荷过大
→ 反馈周期过长
成功模式:"单点突破"
只改变数据模型,工具/流程/标准保持不变
→ 快速验证效果
→ 明确归因
→ 容易回滚
实践建议: - 每个迭代周期只改变一个变量 - 如果必须同时改变多个,至少要能清晰解耦 - 警惕"全面革新"的诱惑
认知负荷管理
降低学习成本的三个策略:
1. 渐进式复杂化
- 先用简单方案建立直觉
- 再逐步引入复杂特性
2. 利用现有知识
- 新工具尽量与旧工具接口兼容
- 新方法尽量基于现有方法演化
3. 分层隐藏细节
- Agent初始阶段只需了解最简模型
- Agent成熟后才需要了解全部细节
短周期迭代
对比:
瀑布模式:规划3个月 → 开发2个月 → 测试1个月 → 发现问题回到起点
迭代模式:规划3天 → 开发2天 → 测试1天 → 调整再来
优势:
- 快速反馈 > 完美规划
- 真实数据 > 理论推导
- 早期暴露问题 > 后期集中爆发
1.4 知识工作的"小"策略
小粒度:从小问题开始,避免过早抽象
错误路径:
Day 1 → 设计通用本体框架
Day 10 → 发现框架不适用于实际数据
Day 20 → 推翻重来
正确路径:
Day 1 → 处理5个具体案例
Day 2 → 归纳初步模式
Day 3 → 处理30个案例验证
Day 5 → 提炼通用框架
原则: - 先有具体的"语义",再有抽象的"语义网" - 先解决特定问题,再提炼通用方案 - 容忍局部不一致,在演化中逐步收敛
小工具:降低工具使用门槛
工具演进的三个阶段:
1. 人工操作(人类执行,Agent观察学习)
2. 半自动脚本(固化重复步骤,Agent辅助执行)
3. 全自动工具(Agent自主执行,人类审查)
关键:
- 工具演进 = Agent能力演进
- 好工具来自真实执行过程的痛点
- 充分利用现有工具生态(不要重新发明轮子)
小周期:精益迭代,减少浪费
懒处理策略:
- 需要时再处理(不是提前处理所有可能情况)
- 高频问题优先(80%的价值来自20%的问题)
- 自动化ROI分析(工具开发成本 vs 节省时间)
Build-Measure-Learn循环:
1. Build:最小可用版本(1天)
2. Measure:实际使用反馈(1周)
3. Learn:总结问题和改进点(1天)
→ 重复
1.5 演进优于设计
核心原则:"多总结,少设计"
设计思维:
- 预先规划完美方案
- 追求一次性正确
- 标准化、规范化
演进思维:
- 从现状出发小步改进
- 容忍多样性、试错
- 在竞争中自然选择
为什么演进更有效?
1. 未来需求不可预测
- 设计时无法考虑所有场景
- 演进可以根据实际需求调整
2. 认知能力有限
- 很难一次性设计出完美方案
- 通过迭代逐步逼近最优解
3. 环境持续变化
- 今天的完美方案,明天可能过时
- 演进保持系统的适应性
实践策略:允许"重新发明轮子"
传统观点:
- 避免重复造轮子
- 统一标准、统一工具
演进观点:
- 百花齐放,在竞争中进化
- 不同场景可能需要不同的"轮子"
- 最终收敛到最优方案(自然选择)
渐进式改进
三个原则:
1. 在现有基础上演化
- 充分利用现有工具/方法
- 不要从零开始
2. 每个阶段有自身核心任务
- 不要试图一步到位
- 阶段性目标要明确
3. 总结优于规划
- 从实践中提炼模式
- 多观察、多实验、多总结
1.6 方法文档化的价值
文档化循环
文档不是结项纪念册,而是持续工作的反馈回路。
实践先发生。
在实践中发现重复步骤和异常边界。
发现模式之后,把它写进文档。
文档再反过来指导新实践。
新实践又暴露出新边界,再推动文档更新。
这就是文档化循环:实践 → 发现模式 → 写入文档 → 指导新实践 → 再更新。
所以文档不应该项目结束后一次性写完,而应该随项目一起演进。
文档的两种形式
规范性文档:
- "应该怎么做"
- 示例:标注规范、质量标准
描述性文档:
- "为什么这样做"
- 示例:决策历史、演化过程
两者都重要:
- 规范性:指导执行
- 描述性:传递理解
元认知:容忍多样性
洞察:"世界观的attention"
- 同一问题可能需要多个schema
- 不同的人/场景可能有不同的理解
- 不强求统一,在使用时选择/对齐
实践:
- 允许多个标注体系并存
- 在应用层做映射/转换
- 演化中逐步收敛(而非强制统一)
1.7 实践机制:OTF(On-The-Fly)即时总结
定位:以下1.7-1.8节介绍OTF + JIT作为上述通用方法论的具体落地机制
核心理念:不等做完再总结,而是发现模式的那一刻立即总结
为什么OTF有效?
认知科学依据: - 记忆衰减 — 做完130章再总结,前面的细节已遗忘 - 模式识别 — 人脑擅长识别模式(看到3次重复就能归纳) - 即时强化 — 总结后立即应用,形成正反馈循环
传统方式(Post-Mortem)的问题:
Post-Mortem 的问题
Day 1-90 一直执行,不总结。
Day 91 才开始回头整理。
结果通常是:细节忘了,总结质量低;错误已经重复了 90 次,返工成本高;总结也很难反哺项目本身,因为项目已经做完。
On-The-Fly 的做法
Day 1 做 5 个样本,就开始总结。
Day 2 把总结出来的规则反过来用于新样本。
Day 3-10 持续边做边改,错误率在执行中就开始下降。
OTF方式(On-The-Fly): OTF 的基本工作方式是:执行中发现模式,立即长出规则,再把规则反向喂回执行。
OTF的三个时机
时机1:发现重复(3次规则)
OTF触发器逻辑: - 维护错误模式的重复计数器 - 对每个任务,检测执行结果是否为错误 - 如果是错误,识别其模式并累加计数 - 当某个模式重复≥3次时: - 立即总结该模式 - 将总结的规则写入规则库 - 记录OTF总结日志
时机2:发现异常(意外情况)
案例:标注时发现"周公"既是人名又是官职
传统:继续标注,等做完再处理
OTF:
├─ 立即停下(5分钟)
├─ 分析:需要新分类"兼职"(如"周公"= 人名+官职)
├─ 更新标注体系
└─ 继续标注(后续不再遇到此类困惑)
时机3:批次边界(每N个样本)
每10个样本 → 微总结(5分钟)
- 发现了什么模式?
- 需要调整什么规则?
每50个样本 → 中总结(30分钟)
- 哪些模式高频(写入自动化脚本)
- 哪些模式低频(记录但不自动化)
每130个样本 → 大总结(2小时)
- 形成完整错误模式表
- 提炼方法原则
本项目的OTF实践
实体标注的OTF过程:
Day 1(5章):
OTF-1: 发现"武王"需消歧 → 规则:"谥号必须加邦国"
Day 2(30章):
OTF-2: 发现"邦国"≠"地名" → 本体演化:4类→6类
Day 5(130章):
OTF-3: 发现"官职"≠"爵位" → 本体演化:6类→8类
Day 10(第一轮反思):
OTF-4: 发现系统性消歧遗漏 → 开发自动检查工具
Day 15(第二轮反思):
OTF-5: 发现格式不一致 → 开发Lint工具
每次OTF的产出: - 规则更新(立即应用于后续样本) - 本体演化(本体是"长"出来的) - 工具开发(自动化重复劳动)
1.8 JIT(Just-In-Time):及时交付的威力
核心理念:不追求一次完美,而是及时交付最小可用版本,快速迭代
为什么JIT有效?
工程经验依据: - 需求不确定 — 前期对"好"的标准认知模糊 - 反馈驱动 — 只有交付了才能获得反馈 - 风险可控 — 小批量迭代比大批量返工成本低
传统方式(Big Bang)的问题:
Week 1-4: 设计完美方案(50属性本体)
Week 5-8: 一次性执行(发现方案不适配)
Week 9: 大规模返工(本体重构,数据重录)
→ 总耗时9周,质量未必高(前期决策错误)
JIT方式(Just-In-Time):
Week 1:
JIT-v0.1: 最小本体(4类)+ 标注5章
├─ 交付:初版数据(质量60%)
└─ 反馈:需要"邦国"类
Week 2:
JIT-v0.5: 本体演化(4类→8类)+ 标注30章
├─ 交付:扩展数据(质量75%)
└─ 反馈:需要"器物"类
Week 3:
JIT-v1.0: 本体稳定(18类)+ 标注130章
├─ 交付:全量数据(质量85%)
└─ 反馈:系统性错误模式
Week 4:
JIT-v1.5: 第一轮反思修正
├─ 交付:高质量数据(质量92%)
└─ 反馈:收敛
→ 总耗时4周,质量92%(渐进收敛)
JIT的三个层次
层次1:功能JIT(最小可行产品)
不是:设计完整工具链(Lint + Validate + Transform + Export)
而是:
Day 1: 需要格式校验 → 开发 lint_format.py(30分钟)
Day 5: 需要统计分析 → 开发 stats.py(1小时)
Day 10: 需要导出功能 → 开发 export.py(2小时)
→ 按需开发(JIT),无冗余功能
层次2:质量JIT(梯度收紧)
不是:所有数据都要求95%准确率
而是:
P0: 60%准确率(2天完成130章)
P1: 80%准确率(1周)
P2: 90%准确率(1周)
P3: 97%准确率(1周)
→ 及时交付可用版本,逐轮提升质量
层次3:知识JIT(按需沉淀)
不是:项目结束后写一份完整文档(50页)
而是:
Week 1: 冷启动文档(3页,够用)
Week 2: 本体设计文档(5页,基于实际演化)
Week 4: 反思方法文档(8页,基于第一轮经验)
Week 8: 完整META技能文档(20页,基于全流程总结)
→ 文档也是JIT,随项目演化
本项目的JIT实践
事件年代标注的JIT过程(真实时间线):
P0(2小时):
交付:3,092事件初版年份(准确率60%)
方法:LLM快速标注全部事件
质量目标:能用即可,快速覆盖
P1(半天):
交付:第一轮反思修正(1010处,准确率80%)
方法:Agent自动反思 + 批量修正
质量目标:系统性错误消除
P2(2小时):
交付:第二轮反思修正(431处,准确率88%)
方法:基于P1模式库的增量修正
质量目标:模式驱动修正
P3(2小时):
交付:第三轮反思修正(465处,准确率92%)
方法:跨章一致性检查
质量目标:跨章一致性
P4(1小时):
交付:第四轮反思修正(167处,准确率95%)
质量目标:接近收敛
P5(1小时):
交付:第五轮反思修正(46处,准确率97%)
质量目标:收敛完成
总耗时:约1.5天(vs 一次性完美需要1周+)
JIT的收益: - 2小时即可交付可用版本(P0,60%质量) - 避免一次性完美的返工风险 - 每轮都有可交付成果(持续价值) - 总时间反而更短(1.5天 vs 1周+)
1.9 OTF + JIT 的协同效应
单独OTF的问题: - 总结太频繁 → 执行效率低 - 总结质量受限于样本量
单独JIT的问题: - 迭代无方向 → 可能震荡不收敛 - 缺乏方法积累 → 每轮都是新探索
OTF + JIT 协同:
JIT 提供大循环,OTF 提供小循环。
JIT 的节奏是:P0 → P1 → P2 → P3 → 收敛。
OTF 的节奏是:每一轮内部持续发现模式、总结模式、应用模式。
所以真实协同关系是:
P0 阶段先交付 60% 的版本。
在 P0 内部,通过 OTF 长出第一批规则、本体调整和工具。
P1 再把 P0 的总结结果吃进去,系统性修正。
后面每一轮,都建立在前一轮沉淀出的模式之上。
JIT 提供框架,OTF 提供燃料。
JIT 负责把版本往前推,OTF 负责把知识往上提。
具体协同:
P0阶段(JIT框架):
Day 1: 标注5章
├─ OTF-1: 发现消歧模式 → 更新规则
Day 2: 标注30章
├─ OTF-2: 发现分类模式 → 本体演化
Day 3-4: 标注130章
├─ OTF-3: 发现格式模式 → 开发Lint
Day 5: P0交付(60%质量,25条OTF总结的模式)
P1阶段(JIT框架):
应用P0的25条模式(OTF产出)
├─ 系统性修正1010处
├─ OTF-4: 发现新模式1条
└─ P1交付(80%质量,26条累计模式)
→ JIT提供框架,OTF提供燃料(模式)
复利效应: - OTF总结的模式 → JIT迭代的基础 - JIT交付的版本 → OTF总结的样本 - 两者相互促进,形成正反馈
二、Bootstrap:知识自举的五阶演化
2.1 核心理念:知识增殖与自动化递进
传统观念(错误):
传统观念
人工劳动 → 完成任务 → 项目结束 → 下个项目从头再来。
自举观念
人工劳动会产生中间知识,比如日志、脚本、检查规则。
中间知识会进一步总结成 Skill。
Skill 会再长出自动化工具。
工具使用过程又会产生更高阶的模式。
最后,系统开始具备自动总结、自动演化的能力。
自举理念(正确): Bootstrap 不是重复跑流程,而是每一轮都长出更高阶知识。
核心洞察: - 每一步迭代都是下一步的燃料(知识增殖) - 自动化程度指数增长(从0%→20%→60%→90%→99%) - 人的角色从执行者→监督者→设计者
2.2 第一阶:人工劳动 + 记录(Week 1)
状态: - 自动化率:0% - 人工占比:100% - 中间产物:聊天记录、操作日志、临时笔记
典型场景:
Day 1-2: 手动标注5章
├─ Claude对话:30轮问答,探索标注规范
├─ 产出数据:5章标注文件
└─ 副产品:
- 30轮对话记录(包含决策过程)
- errors.txt(记录了12个犯错案例)
- questions.md(3个未解决的模糊问题)
关键点: - 不要丢弃中间过程(对话、日志、草稿) - 这些"废料"是下一阶段的"原料" - 人工阶段已经在积累"隐性知识"
2.3 第二阶:脚本化 + 局部自动化(Week 2)
状态: - 自动化率:20% - 人工占比:80% - 中间产物:检查脚本、统计脚本、格式转换脚本
典型场景:
Day 3-4: 标注30章,发现重复劳动
├─ 人工:标注(80%时间)
└─ 发现模式:
- 每章结束都要手动统计实体数 → 写 count_entities.py(10分钟)
- 每次提交前都要检查格式 → 写 lint_format.py(30分钟)
- 每次都要生成markdown索引 → 写 generate_index.py(1小时)
Day 5-7: 使用脚本标注30章
├─ 人工:标注(60%时间,↓20%)
├─ 脚本:自动检查/统计/生成(20%时间,但只需运行命令)
└─ 节省时间:20% → 用于标注更多章节
关键进展: - 从"纯手工"到"脚本辅助" - 脚本是第一层知识固化(从隐性→显性) - 但脚本还需人工触发(半自动化)
2.4 第三阶:SKILL 总结 + 工作流自动化(Week 3-4)
状态: - 自动化率:60% - 人工占比:40% - 中间产物:SKILL文档、Agent反思工作流
典型场景:
Week 3: 完成130章初版,回顾30个脚本
├─ 发现:脚本之间有共同模式
├─ 总结:写 SKILL_02_实体标注反思.md
│ - 记录:18类实体的识别规则
│ - 记录:12条常见错误模式
│ - 记录:脚本使用的最佳顺序
└─ 自动化升级:
- 写 workflow_entity_reflect.sh(串联所有脚本)
- Agent读取SKILL → 自主执行反思流程
- 人工只需:启动workflow + 审查结果
Week 4: 第一轮反思,Agent自动修正1010处
├─ 人工:启动Agent + 审查(10%时间)
├─ Agent:读SKILL → 自动识别问题 → 自动修正(90%时间)
└─ 新产出:
- 反思报告(Agent自动生成)
- 新发现的25条错误模式(Agent总结)
关键进展: - SKILL = 工作流的"DNA"(可被Agent读取和执行) - 从"人写脚本"到"Agent读SKILL自动执行" - 人从"执行者"变为"审查者"(人工占比从100%→40%)
2.5 第四阶:自动总结 SKILL(Week 5-8)
状态: - 自动化率:90% - 人工占比:10% - 中间产物:自动生成的SKILL更新、模式库自动扩展
典型场景:
Week 5: 第二轮反思,发现新模式
├─ Agent执行反思(自动)
├─ Agent发现新模式(自动)
└─ **Agent自动更新SKILL**(新!)
- 读取 SKILL_02_实体标注反思.md
- 检测到新模式P26:"确定性分层不清晰"
- 自动追加到SKILL文档:
```
### 模式P26: 确定性分层不清晰
- 发现于:第二轮反思(2026-03-10)
- 频率:431处
- 修正方法:明确"确定"/"推定"/"估算"三级
```
- 人工只需审查是否合理
Week 6-8: 连续三轮反思
├─ Agent读取不断更新的SKILL
├─ 每轮自动总结新模式(如果有)
├─ 自动…