SOTALAB · FRONTIER DATA
——
专家数据,才是中国 AI 实验室绕不开的下一关
一个外来者的观察
今年五月,Interconnects 的作者 Nathan Lambert 走访了中国多家头部 AI 实验室,包括 Moonshot、智谱、Qwen、蚂蚁、美团和小米。回到美国后,他写了一篇流传很广的观察笔记。
他对中国实验室的工程文化评价很高:执行力强,明星研究员的 ego 相对少,学生也能深度参与核心研发。
不过,在这些赞美中间,有一句几乎没有被中文转发者讨论的话:'The data industry is far less behind.' 中国的数据产业,远没有美国成熟。
图1|Interconnects 原文摘录,中国的数据产业,远没有美国成熟。
这句话让我们格外在意,因为 SoTALab 正在做的,恰好位于这个空白里:
组织领域专家,为前沿模型生产训练和评测所需的数据。
但在介绍我们具体做什么之前,或许应该先回答一个问题:
为什么中国 AI 产业明明有大量数据团队,却仍然会被一个外来观察者评价为“几乎没有数据产业”?
要理解这个空白是怎么形成的,需要回到 2023 年。
蒸馏王朝是怎么建起来的
GPT-4 发布后,国内实验室面对的时间表极其残酷:投资人希望在半年内看到对标产品,不少团队却还处在搭建阶段。从头建设数据体系,在时间上几乎不允许。
于是,蒸馏成了当时最现实的选择:调用 API 生成 SFT 数据,使用开源 instruction 数据集进行微调,而这些开源数据中也有相当一部分来自 GPT-4 等闭源模型。
必须承认,这条路当时很有效,且效果惊人。Benchmark 分数快速提升,产品得以及时上线,融资叙事顺理成章。围绕这套方法,实验室很快建立起一套成熟的工程流程。
数据团队的主要工作往往是收集、清洗和去重其他模型生成的内容,而不是组织专家生产原生数据。一些模型的拒答方式、措辞习惯乃至 prompt 模板,也会悄然烙下 teacher model 的印迹。
图2| Stanford Alpaca(2023)展示了早期开源模型追赶的一条典型路径:用强模型批量生成指令数据,再微调开源 LLaMA。它后来成为许多团队构造 SFT 数据的参考范式
这里没有必要做道德评判。蒸馏解决了当时真实而紧迫的问题。对于刚刚组建、需要快速追赶的团队来说,这很可能就是正确的工程选择。
只是,它也推迟了另一项投入:建设自己的数据生产能力。
当时省下的是时间和成本,没有建立起来的则是专家组织、质量控制和原生数据生产体系。在 instruction tuning 阶段,这些能力未必决定成败,因此很容易被排在优先级后面。
但也有少数实验室在使用蒸馏的同时,开始搭建自己的数据基础设施,包括内部标注体系、原生 RL 数据管线和可验证奖励信号。后来能够在 reasoning 模型上较快站稳脚跟的,往往也是这些团队。
图3|DeepSeek-R1 的训练流程示意:模型并不是只依赖蒸馏数据,而是结合 SFT、采样、过滤、规则奖励与强化学习,逐步形成 reasoning 能力
所以这门课真正的分水岭并非“蒸没蒸过”,几乎所有人都蒸过;分水岭在于,蒸馏之外,有没有给自己留足后手,同时建设自己的数据能力。
蒸不动的那一刻
2024 年 9 月,o1 发布。2025 年 1 月,R1 开源。Reasoning model 的出现,让单纯依赖蒸馏的局限变得更加明显。
图4| o1、R1 发布后的同场对比:Reasoning model 的出现,让单纯依赖蒸馏的局限变得更加明显
蒸馏主要让 student 模型学习 teacher 模型的输出。在这个过程中 student 的分布永远是 teacher 分布的一个子集,它可以高效迁移回答风格、知识表达和一部分解题模式,但在这个过程中,长尾能力和探索多样性往往会受到损失。
在“回答是否像 GPT-4”仍是主要目标时,这些问题不算致命。但 reasoning 能力的训练走的是另一条路:RL with verifiable rewards,模型需要反复生成解题轨迹,再根据可验证的奖励信号进行筛选修…