新手教学、科普与入门 · AI与编程基础 · 2026-02-18

Jeff Dean 访谈:一页备忘录催生 Gemini 与万 Token 时代

揭秘Google AI掌舵人Jeff Dean的思考:从一页纸到万Token时代的创新密码。

核心内容:

  1. Gemini项目背后的决策逻辑:为何三路分兵做大模型是"愚蠢的"
  2. 长上下文处理的终极目标与当前技术瓶颈
  3. 从皮焦耳计算到批处理优化的物理本质思考

从 MapReduce、BigTable 到 TPU、Google Brain,再到 Gemini,Jeff Dean 参与或主导了 Google 几乎所有核心 AI 基础设施的构建。他是 Google 的第 30 号员工,现任首席科学家、Gemini 项目负责人。

在 Latent Space 播客最近一期节目中,主持人 Alessio 和 Swyx 与 Jeff Dean 进行了一个多小时的深度对话。话题跨度极大:从蒸馏技术的真实起源,到“能否让 AI 关注整个互联网”的长上下文愿景;从用皮焦耳理解为什么 GPU 需要批处理,到那份改变了 Google AI 格局的一页纸备忘录。

原始播客链接:https://www.latent.space/p/jeffdean

要点速览

大模型和小模型都要做

主持人 Alessio 上来就恭喜 Jeff Dean“拥有了帕累托前沿”,并追问:新实验室都在拼命推高性能上限来融资,而 Google 有几十亿用户需要服务,你们怎么在前沿能力和部署效率之间做取舍?

【注:帕累托前沿(Pareto Frontier)指在多个目标之间不可能同时改善的最优权衡边界。在 AI 模型的语境中,指在性能和成本/速度之间同时做到最优。】

Jeff Dean 说这从来不是二选一。Google 始终维护两条线:一条是用于深度推理和复杂数学的前沿 Pro 模型,一条是低延迟、可大规模部署的 Flash 模型。蒸馏把这两条线串在一起,没有前沿大模型,就不可能蒸馏出好的小模型。

“通过蒸馏,你必须先有前沿模型,才能把它蒸馏成更小的模型。所以这不是二选一的问题。”

Google 已经连续多代 Gemini 做到了“下一代 Flash 等于或超过上一代 Pro”。

Alessio 追问:如果蒸馏总能让下一代 Flash 赶上上一代 Pro,那再过两代谁还需要 Pro?

Jeff 的回答是:这个推理的前提是用户需求不变,但实际上模型越强,人们会提出越复杂的需求。他用自己的经历举例:一年前只敢让模型做简单编程任务,现在会要求它完成复杂得多的事情。不只是编程,现在有人会问“帮我分析全球所有可再生能源部署情况”,这在一年前根本不会有人提。前沿模型的价值不仅是服务高端需求,还在于探索能力的边界,发现模型在哪里失败,从而指导下一代的改进方向。

【注:蒸馏(Distillation)是一种模型压缩技术。常规训练用硬标签("这是猫"或"不是猫"),蒸馏改用大模型的 logits,也就是模型输出的概率分布,包含了"这张图有点像猫又有点像虎"这类微妙信息,小模型能从中学到远多于硬标签的知识。】

蒸馏的真实起源:50 个专家模型的部署难题

主持人提到蒸馏论文是 2014 年的工作,问 Jeff 当初怎么想到这个方向的。

Jeff 回忆说,当时 Google 内部有一个非常大的图像数据集,大约 3 亿张图片、2 万个类别,远比 ImageNet 大得多。他们发现,给不同类别子集训练专门的“专家模型”——一个特别擅长识别哺乳动物、一个特别擅长识别室内场景——把大约 50 个专家模型组成集成,效果非常好。

但 50 个模型没法上线。蒸馏就是为了解决这个部署问题:怎么把集成的知识压缩到一个能实际部署的单一模型里。

蒸馏的核心优势是你可以用一个小得多的模型,在非常大的训练集上跑很多遍,因为你现在拿到的是大模型的 logits,而不是硬标签。这能从小模型里“哄”出它本来学不到的行为。

这和今天做 Gemini 的逻辑完全一样。只不过以前是 50 个专家模型的集成,现在是一个超大规模的单一模型蒸馏到更小的模型。

Swyx 追问了 Ultra 模型的状态:是不是 Google 藏着一个超大模型在不断蒸馏?Jeff Dean 的回答有意模糊:

“我们有很多不同类型的模型。有些是内部模型,不一定要发布或上线服务。”

言下之意:Google 内部确实有比公开版本更大的模型,但不一定都会对外发布。

Flash 已无处不在:50 万亿 token 的背后

Alessio 提到 Flash 的 token 处理量已超过 50 万亿。Jeff Dean 说这纯粹是因为 Flash 的经济性好到可以“用在所有地方”。

它现在驱动着 Gmail、YouTube,也在 Google 搜索的 AI Mode 和 AI Overviews 中使用。Swyx 听到 Flash 驱动 AI Mode 时明显惊讶,Jeff Dean 自己似乎也是在对话中才意识到这点值得提。

除了便宜,Jeff Dean 认为低延迟是 Flash 的另一个核心优势。未来的任务会比现在复杂得多,不是“帮我写个 for 循环”,而是“帮我写一个完整的软件包”。从提出需求到完成任务之间要生成大量 token,低延迟在这种场景下至关重要。

TPU 的芯片间高速互连在这里也发挥了作用,对长上下文的注意力计算和稀疏专家模型的部署都很友好。

Benchmark 的保质期

Swyx 问 Google 内部用什么 benchmark,因为外部公开的那些分数已经快刷满了。

Jeff Dean 说好的 benchmark 应该在初始阶段让模型只拿到 10-30% 的分数,然后可以推动改进到 80-90%。一旦超过 95% 就没什么价值了,因为要么能力已经达标,要么公开数据中存在泄露。

Google 内部有大量保留测试集(held-out benchmarks),确保不在训练数据中出现,覆盖了 Google 希望模型拥有但目前还不具备的能力。

他举了长上下文的例子。Needle in a Haystack(在长文本中找一根针)这个基准在 128k token 上下文已经饱和了,大多数模型都能满分。但 Google 在推 100 万甚至 200 万 token 的上下文长度,真正有用的基准应该是多针(multi-needle)或更接近真实使用场景的任务,比如“读完这些内容后回答一个综合性问题”。

“回答问题时,注意力能覆盖到整个互联网吗?”

Swyx 从 benchmark 话题自然过渡到长上下文的方向性问题。Jeff Dean 没有纠结具体方案,而是直接拉到了终极目标:

“你真正想要的是:回答问题的时候,注意力能覆盖到整个互联网吗?”

但他立刻指出这不可能靠现有方案实现。当前注意力机制是二次方复杂度,100 万 token 已经接近极限,不可能直接推到 10 亿、万亿级。

那怎么办?Jeff Dean 提出了一个分层漏斗式的架构设想:用高度并行的轻量模型从万亿 token 中筛选出大约 3 万篇相关文档,再用稍强的模型从 3 万缩小到 117 篇,最后用最强的模型精读这 117 篇来完成任务。

这个思路和 Google 搜索的排名管道异曲同工,从海量网页逐层过滤到最终的 10 个结果。只不过现在终端用户不是人类,而是另一个 AI 模型。

这个愿景延伸到个人层面:如果你授权,一个个性化的 Gemini 可以“关注”你的所有邮件、照片、文档、机票,从而提供真正个人化的帮助。

Swyx 补充说,一个人每天说 8 小时的话也就产生大约 10 万 token,完全可以装进上下文。但如果要理解视频、蛋白质等高信息密度的模态,那就是完全不同的量级了。

多模态不只是图文:从 LIDAR 到 120 人使用的语言

Swyx 问:有没有某些模态是“国王模态”,可以涵盖其他模态?

Jeff Dean 说,Gemini 从一开始就是多模态设计的,不光是文本、图像、视频、音频这些“人类模态”,还包括 Waymo 的 LIDAR 数据、机器人数据、X 光、MRI、基因组信息。他认为世界上可能有几百种有意义的数据模态,即使不在预训练中大量包含,让模型少量接触也很有用,因为这会让模型知道“这种东西存在”。

至于“国王模态”,Jeff 认为视觉和运动确实是最重要的:

“进化独立演化出眼睛 23 次,因为视觉对感知周围世界是如此有用的能力。”

他举了个例子:给模型一个 YouTube 体育集锦视频(18 个跨越 20 年的经典体育瞬间),让它做一个表格,列出每个事件的名称、日期和描述。模型能准确输出一个 18 行的结构化表格。大多数人不会把“视频转结构化表格”当成一个典型 AI 用例来想,但这恰恰说明了原生视频理解能力的价值。

Swyx 补充说 Gemini 仍然是唯一原生支持视频理解的模型。Jeff Dean 还提到一个细节:Kalamang 语全球只有约 120 人使用且没有书面文字,但把它的全部语料放进上下文,Gemini 就能学会在上下文中使用这种语言。

2001 年,Google 把整个搜索索引搬进了内存

Alessio 问到 Google 搜索如何为 AI 时代做准备。Jeff 讲了一个 Google 搜索历史上的关键转折。

2001 年左右,Google 面临两个需要同时扩展的维度:索引规模(…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/LargeLanguageModel/2026021828719.html