从“能检索”到“能训练”:我为科研文献工作流做了两个 Codex Skill
副标题:让文献有出处,让训练数据有边界
做科研时,我经常面对一种熟悉的混乱:
硬盘里散落着 PubMed 导出、论文摘要、PDF、Markdown 笔记和审稿资料;需要写文章时,我想快速找到证据;需要构建科研助手时,我又想把这些资料做成本地知识库,甚至进一步整理成领域模型的训练数据。
工具其实不少。PDF 可以解析,向量库可以检索,大模型也可以生成问答。
但真正让我不放心的,并不是“AI 能不能生成”,而是下面这些问题:
• 这段话究竟来自哪篇论文、哪个版本、哪一页?
• 预印本和正式发表版本是否被重复收录?
• RAG 检索到了一段文字,是否真的支持我准备写出的结论?
• 同一篇论文生成的多个问答,会不会分别进入训练集和测试集?
• 摘要、全文和人工标注究竟获准用于内部训练,还是也可以公开发布?
• AI 生成的科学标签由谁复核?审核者意见不一致时,原始判断是否还被保留?
我逐渐意识到:科研文献进入 AI 系统,缺少的往往不是另一个“生成按钮”,而是一条可追溯、可验证、可复现的数据链路。
为此,我开发了两个可以配合使用的 Codex Skill:
• DataFlow Literature RAG Skill
https://github.com/Liangshuntao/codex-dataflow-literature-rag-skill
• DataFlow Training Data Builder Skill
https://github.com/Liangshuntao/codex-dataflow-build-training-data-skill
它们分别负责两个容易被混在一起、但实际上完全不同的问题:
Literature RAG 管“证据”,Training Data Builder 管“训练样本”。
谁会真正需要这两个 Skill?
它们并不是只为专业 AI 工程师准备的。
1. 管理大量论文的科研人员和研究生
你可能正在写综述、准备基金、修改论文,或者回复审稿意见。资料越来越多,但证据仍然依赖手工复制和记忆。
你需要的不是“帮我总结一篇论文”,而是:
• 长期维护一批文献;
• 保留每条结论对应的 PMID、DOI、页码和原始文件;
• 区分预印本、正式发表版和重复记录;
• 在需要引用时能够重新找到原始证据。
2. 生物医学、药学等专业研究团队
专业领域的数据不能只追求数量。错误的证据等级、过度外推的结论以及来源不明的训练样本,都会让后续结果看似漂亮、实际不可用。
这些团队需要:
• 明确科学主张与证据片段;
• 区分直接功能证据、相关性证据和综述性证据;
• 保留独立审核和人工裁决记录;
• 控制未完成授权或科学复核的数据进入下一阶段。
3. 构建本地 RAG 或机构知识库的开发者
向量数据库“能返回内容”,不代表知识库已经可靠。
开发者还需要回答:
• 文本块能否追溯到原始文档?
• 更新索引后,文档和文本块 ID 是否仍然稳定?
• 检索效果有没有独立问题集,而不是只用论文标题自测?
• 检索命中是否被错误当作科学结论?
4. 准备领域模型数据的 LLM 数据工程师
将文献生成问答只是开始。真正困难的是:
• 如何定义训练样本的数据契约;
• 如何保留样本与原始文献的关系;
• 如何避免同源样本跨集合泄漏;
• 如何管理生成、审核、拒绝和裁决;
• 如何发布一个可以复现的数据集版本。
第一个 Skill:把散乱文献变成可追溯的证据库
DataFlow Literature RAG Skill
项目地址:
https://github.com/Liangshuntao/codex-dataflow-literature-rag-skill
它处理的是文献与检索层:
• 盘点 PubMed CSV/XML、PDF、Markdown、SOP 和研究笔记;
• 清洗、标准化和去重;
• 为文档与文本块建立稳定的 doc_id 和 chunk_id;
• 保留 PMID、DOI、页码、来源文件、检索式和文件哈希;
• 指导文档分块、向量索引、混合检索和本地 RAG;
• 使用 Hit@k、MRR 等指标评估检索效果;
• 将检索结果重新追溯到确切原文。
这个 Skill 最重要的规则是:
检索命中只是候选证据,不等于科学结论已经成立。
如果 RAG 找到一段提到“脂肪微环境”和“免疫调节”的摘要,它并不能自动证明“某个脂肪基质细胞亚群直接诱导 CD4⁺ T 细胞无反应”。
从“内容相关”到“可以支持这句话”,中间仍然需要证据等级判断、原文核对和科学审核。
因此,这个 Skill 的目标不是让…