写在前面
我之前发过Gemma 4 QAT 相关的文章,当时刚出来比较兴奋,但是26B的一直没有上线,最近(8天前),我看到hugging face 上架了 26b的QAT 版本,马上体验了下,先直接说结论:在32GB显卡上,Unsloth 的 Gemma 4 26B A4B QAT GGUF 量化版跑出了 433ms 首字时延、156 tokens/s 的成绩,128K 上下文只用了 83% 显存。
这不是实验室里那种"能跑但不好用"的模型——它是真的可以每天用的。
为什么是 Gemma 4
Google DeepMind 的 Gemma 4 是一个系列,从 12B 到 31B,这个 26B A4B 是 MoE(混合专家)架构:
- 总参数量 26B,但每次推理只激活约 8B 的参数
- 所以它既有大模型的知识广度,又有小模型的推理速度
- 原生支持 256K 上下文窗口
- 多模态:文字输入 + 图片理解(这个后面单独说)
而 QAT(Quantization-Aware Training)是 Google 和 Unsloth 合作的量化方案——在训练阶段就把 4-bit 精度约束加进优化目标,让模型学会在低精度下"自救"。结果就是用 4-bit 跑出了接近 BF16 的质量。
这对我们这种只有两张消费级显卡的人来说,意义很大。
部署过程:从零开始的真实记录
硬件环境
| 项目 | 配置 |
|---|---|
| CPU | Intel Core Ultra 7 265KF |
| 内存 | 128GB |
| GPU | 32GB |
| 显存合计 | 32GB |
| 系统 | Ubuntu 24.04 |
下载模型
模型来自 Unsloth 的 HuggingFace 仓库:unsloth/gemma-4-26B-A4B-it-qat-GGUF
GGUF 文件 9.8GB,在 HuggingFace 上下载的时候因为网络波动断了几次,用 curl -C - 续传每次都能接着断点继续,没有什么坑。
部署方案对比
可能有人会问:为什么不用 vLLM?
我试了。vLLM 0.22.0 的 GGUF 引擎只支持到 gemma3 架构——这个模型写的是 gemma4。
又查了最新版 vLLM(0.23.0),同样不支持。vLLM 的 GGUF 支持依赖于 gguf Python 包(llama.cpp 的 GGUF 协议绑定),而这个包目前最高版本(0.17.x)的 MODEL_ARCH_NAMES 里还没有 gemma4。这不是 vLLM 版本新旧能解决的问题——GGUF 协议层尚未收录 gemma4 架构,vLLM 的 GGUF 路径暂时无法走通。
目前能读 gemma4 GGUF 的是 Ollama 内置的最新版 llama.cpp,它有自己的 GGUF 引擎(不依赖 PyPI 上的 gguf 包)。
对比表:三种部署方案在 Gemma 4 QAT 上的实际情况
最终的选择是 Ollama(v0.30.6)。Ollama 底层是 llama.cpp,内置了 CUDA 12 的 GPU 支持库,双卡 tensor split 开箱即用。
部署命令极简:
ollama create gemma4-qat -f Modelfile
Modelfile 就一行:
FROM /path/to/gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.ggufPARAMETER num_ctx 131072
然后 ollama serve 就完了。
GPU 占用
加载后 nvidia-smi 输出:
GPU 0: 14.7 GB / 16 GBGPU 1: 11.9 GB / 16 GB合计: 26.6 GB / 32 GB (83%)
128K 上下文只用了 83% 的显存,余量还有 5.4GB。如果缩减到 32K 上下文,16G就够了。
Cherry Studio 实测
在 Cherry Studio 里配置 OpenAI 兼容接口,把地址指向 http://192.168.0.109:11434/v1,模型名填 gemma4-qat,直接就能用。
性能数据
最前面那句话的出处在这里:
| 指标 | 值 |
|---|---|
| 首字时延 | 433 ms |
| 生成速度 | 156 t… |