从“能检索”到“能训练”:我为科研文献工作流做了两个 Codex Skill

副标题:让文献有出处,让训练数据有边界



做科研时,我经常面对一种熟悉的混乱:


硬盘里散落着 PubMed 导出、论文摘要、PDF、Markdown 笔记和审稿资料;需要写文章时,我想快速找到证据;需要构建科研助手时,我又想把这些资料做成本地知识库,甚至进一步整理成领域模型的训练数据。


工具其实不少。PDF 可以解析,向量库可以检索,大模型也可以生成问答。


但真正让我不放心的,并不是“AI 能不能生成”,而是下面这些问题:


• 这段话究竟来自哪篇论文、哪个版本、哪一页?

• 预印本和正式发表版本是否被重复收录?

• RAG 检索到了一段文字,是否真的支持我准备写出的结论?

• 同一篇论文生成的多个问答,会不会分别进入训练集和测试集?

• 摘要、全文和人工标注究竟获准用于内部训练,还是也可以公开发布?

• AI 生成的科学标签由谁复核?审核者意见不一致时,原始判断是否还被保留?


我逐渐意识到:科研文献进入 AI 系统,缺少的往往不是另一个“生成按钮”,而是一条可追溯、可验证、可复现的数据链路。


为此,我开发了两个可以配合使用的 Codex Skill:


• DataFlow Literature RAG Skill

https://github.com/Liangshuntao/codex-dataflow-literature-rag-skill

• DataFlow Training Data Builder Skill

https://github.com/Liangshuntao/codex-dataflow-build-training-data-skill


它们分别负责两个容易被混在一起、但实际上完全不同的问题:


Literature RAG 管“证据”,Training Data Builder 管“训练样本”。



谁会真正需要这两个 Skill?


它们并不是只为专业 AI 工程师准备的。


1. 管理大量论文的科研人员和研究生


你可能正在写综述、准备基金、修改论文,或者回复审稿意见。资料越来越多,但证据仍然依赖手工复制和记忆。


你需要的不是“帮我总结一篇论文”,而是:


• 长期维护一批文献;

• 保留每条结论对应的 PMID、DOI、页码和原始文件;

• 区分预印本、正式发表版和重复记录;

• 在需要引用时能够重新找到原始证据。


2. 生物医学、药学等专业研究团队


专业领域的数据不能只追求数量。错误的证据等级、过度外推的结论以及来源不明的训练样本,都会让后续结果看似漂亮、实际不可用。


这些团队需要:


• 明确科学主张与证据片段;

• 区分直接功能证据、相关性证据和综述性证据;

• 保留独立审核和人工裁决记录;

• 控制未完成授权或科学复核的数据进入下一阶段。


3. 构建本地 RAG 或机构知识库的开发者


向量数据库“能返回内容”,不代表知识库已经可靠。


开发者还需要回答:


• 文本块能否追溯到原始文档?

• 更新索引后,文档和文本块 ID 是否仍然稳定?

• 检索效果有没有独立问题集,而不是只用论文标题自测?

• 检索命中是否被错误当作科学结论?


4. 准备领域模型数据的 LLM 数据工程师


将文献生成问答只是开始。真正困难的是:


• 如何定义训练样本的数据契约;

• 如何保留样本与原始文献的关系;

• 如何避免同源样本跨集合泄漏;

• 如何管理生成、审核、拒绝和裁决;

• 如何发布一个可以复现的数据集版本。




第一个 Skill:把散乱文献变成可追溯的证据库


DataFlow Literature RAG Skill


项目地址:


https://github.com/Liangshuntao/codex-dataflow-literature-rag-skill


它处理的是文献与检索层:


• 盘点 PubMed CSV/XML、PDF、Markdown、SOP 和研究笔记;

• 清洗、标准化和去重;

• 为文档与文本块建立稳定的 doc_id 和 chunk_id;

• 保留 PMID、DOI、页码、来源文件、检索式和文件哈希;

• 指导文档分块、向量索引、混合检索和本地 RAG;

• 使用 Hit@k、MRR 等指标评估检索效果;

• 将检索结果重新追溯到确切原文。


这个 Skill 最重要的规则是:


检索命中只是候选证据,不等于科学结论已经成立。


如果 RAG 找到一段提到“脂肪微环境”和“免疫调节”的摘要,它并不能自动证明“某个脂肪基质细胞亚群直接诱导 CD4⁺ T 细胞无反应”。


从“内容相关”到“可以支持这句话”,中间仍然需要证据等级判断、原文核对和科学审核。


因此,这个 Skill 的目标不是让…

— 以上为试看内容(约 40%),开通会员后阅读全文 —