Harness 与 Agent 工程 · AI研发与测试工程 · 2026-03-26

Google 最新极限压缩算法,砸碎大模型本地部署的内存墙,8 倍提升!

Google突破性技术TurboQuant,3bit量化实现零精度损失,8倍推理速度提升,彻底打破大模型部署内存限制。

核心内容:

  1. TurboQuant革命性压缩原理:PolarQuant极坐标变换+QJL残差处理
  2. 实测性能:6倍内存缩减+8倍速度提升,长上下文任务零精度损失
  3. 行业影响:同等硬件支持6倍并发,彻底改变LLM推理格局

刚刚

Google 放了一个可能改变整个 LLM 推理格局的炸弹——TurboQuant

TurboQuant 把 KV Cache 从"最贵、最慢、最难优化的部件"变成了"几乎免费"的资源。

搞过大模型部署的人都知道,KV Cache 是推理阶段最大的内存杀手。

上下文越长,KV Cache 越膨胀,显存就越不够用。

之前的量化方案要么损失精度,要么引入额外的内存开销(存储量化常数),搞半天省不了多少。

TurboQuant 的恐怖之处在于:3 bit 量化 KV Cache,质量零损失,速度还更快。

TurboQuant 到底干了什么?

用人话讲,它做了两件事:

第一步:PolarQuant —— 换个坐标系看世界

传统量化就像用网格纸去描点——每个点都需要 X、Y、Z 坐标,每个坐标都得单独算一个缩放系数,这些缩放系数本身就要占内存(就是所谓的"量化开销")。

PolarQuant 换了个思路:先把向量随机旋转一下,让数据分布变得非常集中、可预测,然后改用极坐标来描述。就像把"往东走 3 个路口,往北走 4 个路口"变成"朝 37 度方向走 5 步"。因为角度分布已知且高度集中,不再需要给每小块数据算缩放系数了——量化开销直接消失

第二步:QJL —— 1 bit 清理残差

第一步压完还有微小的误差怎么办?TurboQuant 只用 1 个 bit 做一个 Johnson-Lindenstrauss 变换,把残差误差中的偏差干掉,保证内积计算(也就是注意力分数)不会跑偏。

这两步加在一起,就是 TurboQuant 的核心:PolarQuant 吃大头 + QJL 擦屁股,零额外开销,接近信息论下界。

论文里证明了,TurboQuant 和理论最优只差一个约 2.7 倍的常数因子

实测数据有多炸?

Google 在 Gemma 和 Mistral 模型上,用 LongBench、Needle-in-a-Haystack、ZeroSCROLLS、RULER、L-Eval 等一堆长上下文基准做了全面测试。

下面是各方法在不同任务上的聚合性能得分对比(包括问答、代码生成、摘要等任务):

Needle-in-a-Haystack 测试结果(在海量文本中找一根针):

TurboQuant 在所有基准上都实现了完美分数,同时将 KV 内存缩小了至少 6 倍。

再看速度——H100 上 4-bit TurboQuant 计算注意力的速度比原始 32-bit Key 快了 8 倍:

社区已经炸锅了

社区已经开始疯狂复现:

mlx-vlm 上的 TurboQuant Metal kernel 实现:

mlx-audio & mlx-vlm 创建者 Prince_Canuma 使用 Qwen3.5-35B-A3B 在 8.5K、32.7K 和 64.2K 的上下文长度中进行“大海捞针”测试:

→ 每个量化级别都达到 6…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/LargeLanguageModel/2026032602614.html