刚刚
Google 放了一个可能改变整个 LLM 推理格局的炸弹——TurboQuant
TurboQuant 把 KV Cache 从"最贵、最慢、最难优化的部件"变成了"几乎免费"的资源。
搞过大模型部署的人都知道,KV Cache 是推理阶段最大的内存杀手。
上下文越长,KV Cache 越膨胀,显存就越不够用。
之前的量化方案要么损失精度,要么引入额外的内存开销(存储量化常数),搞半天省不了多少。
TurboQuant 的恐怖之处在于:3 bit 量化 KV Cache,质量零损失,速度还更快。
TurboQuant 到底干了什么?
用人话讲,它做了两件事:
第一步:PolarQuant —— 换个坐标系看世界
传统量化就像用网格纸去描点——每个点都需要 X、Y、Z 坐标,每个坐标都得单独算一个缩放系数,这些缩放系数本身就要占内存(就是所谓的"量化开销")。
PolarQuant 换了个思路:先把向量随机旋转一下,让数据分布变得非常集中、可预测,然后改用极坐标来描述。就像把"往东走 3 个路口,往北走 4 个路口"变成"朝 37 度方向走 5 步"。因为角度分布已知且高度集中,不再需要给每小块数据算缩放系数了——量化开销直接消失
第二步:QJL —— 1 bit 清理残差
第一步压完还有微小的误差怎么办?TurboQuant 只用 1 个 bit 做一个 Johnson-Lindenstrauss 变换,把残差误差中的偏差干掉,保证内积计算(也就是注意力分数)不会跑偏。
这两步加在一起,就是 TurboQuant 的核心:PolarQuant 吃大头 + QJL 擦屁股,零额外开销,接近信息论下界。
论文里证明了,TurboQuant 和理论最优只差一个约 2.7 倍的常数因子
实测数据有多炸?
Google 在 Gemma 和 Mistral 模型上,用 LongBench、Needle-in-a-Haystack、ZeroSCROLLS、RULER、L-Eval 等一堆长上下文基准做了全面测试。
下面是各方法在不同任务上的聚合性能得分对比(包括问答、代码生成、摘要等任务):
Needle-in-a-Haystack 测试结果(在海量文本中找一根针):
TurboQuant 在所有基准上都实现了完美分数,同时将 KV 内存缩小了至少 6 倍。
再看速度——H100 上 4-bit TurboQuant 计算注意力的速度比原始 32-bit Key 快了 8 倍:
- 同样的 GPU,能跑 6 倍以上的并发用户
- 上下文长度直接拉到 6 倍(长上下文基准全部零损失)
- H100 上端到端吞吐量暴涨
- 无需重训、无需微调,直接套在现有 Llama、Gemma、Qwen 等模型上就能用
社区已经炸锅了
社区已经开始疯狂复现:
mlx-vlm 上的 TurboQuant Metal kernel 实现:
mlx-audio & mlx-vlm 创建者 Prince_Canuma 使用 Qwen3.5-35B-A3B 在 8.5K、32.7K 和 64.2K 的上下文长度中进行“大海捞针”测试:
→ 每个量化级别都达到 6…