Harness 与 Agent 工程 · AI研发与测试工程 · 2026-02-14

每秒一万个 Token 是为了给 AI 预留足够的思考空间

Google AI科学家Jeff Dean揭秘Gemini背后的技术突破与未来AI发展路线图。

核心内容:

  1. Google通过模型蒸馏技术实现性能与成本的最佳平衡
  2. 长上下文处理技术向万亿Token规模跨越的关键突破
  3. AI Agent将重塑未来软件工程与团队协作模式

2 月 13 日,Google 首席 AI 科学家 Jeff Dean 接受了 Latent Space 播客的深度专访。本次对话全面回顾了 Google 如何在激烈的 AI 竞赛中通过 Gemini 占据前沿,深入拆解了模型蒸馏、长上下文处理向万亿 Token 的跨越、TPU 硬件协同设计、分层搜索逻辑,以及 AI Agent 对未来软件工程的重塑。Jeff Dean 还在对话中复盘了 Google 内部资源整合的决策内幕,并对“万倍速推理”时代做出了预测。

Jeff Dean 指出,Google 的领先源于贯穿整个技术栈的综合优势。通过将前沿大模型(Pro/Ultra)的能力蒸馏至更小、更轻量的模型中,Google 实现了性能与成本的最佳平衡。他强调,Flash 系列模型的成功并非偶然,低延迟是复杂任务的核心指标,因为复杂任务意味着需要生成海量 Token。对于长上下文技术,Jeff 认为行业已从简单的“大海捞针”测试转向对数百万甚至数万亿 Token 的深度理解,目标是让 AI 系统能够实时处理整个互联的信息或个人全部数字化足迹。

Jeff Dean 认为,与其让小模型死记硬背随处可查的冷门事实,不如将参数空间释放给推理能力,通过在强基座模型上进行模块化配比或插件式调用,其进化效率远超独立的医疗或法律模型。此外,他指出高性能中小型模型(如 Flash)的领先前提,是必须持续推动顶级前沿模型(Pro/Ultra)的突破,以作为蒸馏的“能力源泉”。

Jeff Dean 提出,数据搬运的成本远超计算本身。他指出,相对于 1 皮焦耳的乘法运算,从内存搬运数据可能消耗 1000 皮焦耳,这也决定了“批处理(Batching)”在 AI 计算中并非仅为了吞吐量,其本质是为了平摊昂贵数据搬运成本而进行的能效妥协。

针对 AI Agent 带来的行业变革,Jeff Dean 预计,未来 5 个管理者带领 250 个虚拟 AI Agent 的协作效率,将远高于传统的层级化人力团队。在这种模式下,编写严谨的“规格说明书”将取代模糊的指令,成为驱动生产的核心。他认为,未来的核心竞争力不在于编写代码,而在于能否像管理高级行政团队一样,清晰、准确地定义任务目标,并利用模型在思维链中消耗的大量推理 Token 来换取最终输出的高可靠性。

关于未来,Jeff Dean 有 2 个预测,首先个性化模型将变得异常强大。一个了解你、掌握你所有授权状态(邮件、照片、视频)并能检索信息的模型,会比通用模型有用得多。其次越来越多的专用硬件将以更低廉的价格实现更低延迟、更强大的模型。

01

高性能中小型模型需以前沿模型作为蒸馏源头

Google 目前成功占据了 AI 性能与效率的帕累托前沿。在追求高性能的同时,面对初创实验室冲击上限的压力,拥有数十亿用户的 Google 如何在内部权衡前沿技术突破与实际部署需求?此外,你早在 2014 年就提出了蒸馏技术,在开发下一代 Gemini 时,你们如何重新评估稀疏模型等构思,并将前沿能力无损地迁移到轻量化模型中?

Jeff Dean: 非常感谢,能保持在帕累托前沿的位置确实令人振奋。正如你所说,这并非单一因素的结果,而是贯穿整个技术栈的综合优势。这些因素共同作用,使我们能够打造出性能极强的大语言模型,并利用软件技术将这些能力迁移到更小、更轻量的模型中。这些小模型虽然成本更低、延迟更小,但在同等尺寸下依然保持了极强的竞争力。

我们始终致力于研发处于甚至推动技术前沿的模型,因为这能让我们发现一年前或半年前还不具备的新能力。与此同时,我们也意识到这些前沿模型在某些广泛应用场景下,速度和成本可能不尽如人意。因此,我们的目标是始终提供一种能力强且价格亲民的模型,以支持低延迟应用。例如,用户可以更顺畅地将这些模型用于 AI Agent 编码。同时,我们也需要高端前沿模型来处理深度推理、解决复杂的数学难题等任务。这两者并非互斥,而是相辅相成。通过蒸馏技术,我们可以将前沿模型的能力注入到小模型中。因此,这并非二选一的抉择,要获得高性能的中小型模型,首先必须拥有顶尖的前沿模型。别忘了 Oriol Vinyals 也是(蒸馏论文的)作者之一。

(关于技术构想的周期)蒸馏技术最初的动力源于我们当时拥有一个包含 3 亿张图像的超大数据集。我们发现,如果为不同的图像子集创建专家模型,例如专门处理哺乳动物的模型,或专门处理室内场景的模型,在进行广泛预训练后,再通过聚类并在丰富的数据流上训练,可以获得更好的性能。但如果将这 50 个模型组成的集成模型直接用于在线服务,显然不切实际。于是我们产生了一个想法,既然训练了这些独立的专家模型,能不能把它们压缩成一个适合在线服务部署的单体模型。这与我们今天的做法大同小异,只是现在我们通常是将一个超大规模模型的能力蒸馏到一个小规模模型中。

(关于强化学习的结合)我认为蒸馏的核心优势之一在于,利用一个小模型和超大规模的训练数据集,可以通过对数据集的多次迭代获得巨大效益。由于你可以从大模型中获取 Logits (对数几率) 来引导小模型的行为,这种效果是仅靠硬标签无法实现的。观察结果显示,通过蒸馏方法可以获得非常接近顶尖模型性能的小模型。这是一个非常理想的平衡点也是为什么连续几代 Gemini Flash 模型都能达到甚至超越前一代 Pro 模型水平的原因。我们会坚持这一技术趋势。我们内部拥有多种模型,其中一些模型并非为了公开发布或提供服务。我们可以从 Pro 级别的模型中蒸馏出 Flash 级别的模型。此外,推理侧扩展 也是提升模型能力的重要手段。

02

低延迟是处理复杂任务的关键,内部测试应针对尚未掌握的能力

Flash 模型的经济性使其应用广泛,目前已整合进 Gmail、YouTube 和 AI Overviews 等核心产品。在 Flash 占据主导地位且用户需求不断提高的情况下,你们如何维持推动 Pro 模型前沿的经济动力?同时,当公开基准测试得分已接近饱和时,你们内部如何建立测试集以指引架构改进,有哪些通过基准测试发现瓶颈并改进的具体例子?

Jeff Dean: Flash 模型最吸引人的地方不仅在于价格实惠,更在于它的低延迟。延迟是模型性能的关键指标,因为我们希望模型处理更复杂的任务,而复杂任务意味着需要生成更多的 Token。比如用户不再只是要求模型写一个循环,而是编写整个软件包。在这种场景下,具备低延迟特性的 AI 至关重要。我们的硬件平台也为推理栈提供了有力支撑,例如 TPU 芯片间的高速互联对于长上下文的注意力机制操作,以及支持大量专家的稀疏模型运行,都起到了决定性的作用。

(关于 Pro 模型的持续动力)如果用户需求是静止不变的,这种观点可能成立。但实际情况是,随着模型能力的提升,人们的需求也在水涨船高。以我个人的经验为例,一年前我用模型处理简单的编程任务,效果尚可,但处理复杂任务就很吃力。随着我们在复杂编程任务上的突破,我现在会要求模型处理更高级的开发任务。这不仅限于编程,比如要求模型分析全球可再生能源部署情况并生成太阳能报告,这类任务的深度远超一年前的需求。因此,我们必须持续研发前沿模型以探索技术边界,并从中洞察模型在哪些特定领域会遇到瓶颈,从而指引下一代模型的优化方向。

(关于内部基准测试)公开的外部基准测试确实有其价值,但通常都有生命周期。我比较推崇那些初始得分仅在 10% 到 30% 之间的测试,因为这代表了真正的挑战。一旦得分达到 95% 左右,由于边际收益递减以及训练数据中可能存在的泄露问题,继续专注于该指标的意义就不大了。所以我们建立了一系列内部测试集,确保它们在训练数据中从未出现过。这些测试代表了我们希望模型具备但尚未掌握的能力,它会指引我们是需要更专业的训练数据,还是需要架构层面的改进。

Gemini 1.5 系列的长上下文能力就是一个很好的例子。当单针的大海捞针测试在 128K 长度饱和后,我们开始尝试推动 100 万甚至 200 万上下文的前沿。这具有极大的应用价值,比如将上千页文本或数小时的视频放入上下文并让 AI 提取有用信息。单针测试已经过于简单,我们需要更复杂的多针测试或更接近真实需求的任务,例如让模型基于超长上下文生成深度回答,这才能真实衡量 long context 技术的实际价值,而不仅仅是识别一个简单的产品编号。

03

长上下文架构与分层过滤逻辑

在优化基准测试时,如何平衡短期架构调整带来的归纳偏置与长期 Scaling Law 的可扩展性?针对目前处理数百万 Token 已接近极限的现状,如何通过算法和系统层面的改进,让 AI 真正处理数万亿规模的 Token?同时,在多模态理解方面,是否存在某种“王者模态”可以整合所有感知数据,比如视觉模态对非人类数据(LIDAR、医疗影像)的理解?

Jeff Dean: 我倾向于不纠结于具体的解决方案,而是思考究竟需要实现什么样的能力。我们坚信长上下文极具价值,但目前的处理能力还是太局限了。理想情况下,你肯定希望 AI 系统在回答问题时能够实时处理整个互联网的信息。但这在目前很难通过纯粹扩展现有的二次方复杂度方案来实现。处理 100 万个 Token 几乎已经达到了目前的技术极限,更不用说处理 10 亿甚至 1 万亿个 Token 了。但如果你能构建出一种能够处理数万亿 Token 的能力,哪怕只是实现这种效果,那也将是非常惊人的。你会发现它的用途极其广泛,比如让 AI 系统关注整个互联网,或者理解 YouTube 视频中的像素信息及其背后的深层表示。

在个人化的 Gemini 层面,如果得到授权,它可以处理你所有的个人状态,包括电子邮件、照片、文档以及机票信息。这会非常实用。现在的核心问题是,如何通过算法和系统层面的改进,让你真正以有意义的方式去处理数万亿规模的 Token。

(关于多模态与核心模态)关于 Gemini 的多模态能力,我们从立项之初就致力于此。对大多数人来说,多模态意味着文本、图像、视频和音频等人类感知模态。但我觉得让 Gemini 理解非人类模态同样意义重大,比如来自 Waymo 自动驾驶汽车的激光雷达(LIDAR) 传感器数据,或者是机器人感知数据,以及医疗领域的 X 光、核磁共振成像(MRI) 和基因组学信息。世界上存在成百上千种数据模态,我们希望模型至少能意识到这些模态的存在及其背后的现实意义。即使主预训练数据集中没有包含全部的激光雷达或核磁共振数据,只要包含一小部分,对模型来说就非常有帮助,因为这能引导模型感知到这种模态的存在。

视觉和运动确实至关重要,尤其是动态视频相对于静态图像而言。自然界中的生物进化曾独立演化出眼睛多达 23 次,这足以说明感知周围世界的能力是多么关键,这正是我们对 AI 系统的期望,解释所见所感并协助我们利用这些信息去完成任务。实际上,很多人还没意识到 Gemini 模型真正的实力。我在一次演讲中举过一个例子,一段包含过去 20 年间 18 个经典体育瞬间的 YouTube 锦集,比如迈克尔·乔丹在总决赛的绝杀球以及一些经典的足球进球。你直接把视频交给它,让它整理一份表格,列出每个事件、发生日期和简短描述。它能直接从视频中提取信…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/LargeLanguageModel/2026021492768.html