Harness 与 Agent 工程 · AI研发与测试工程 · 2026-06-27

本地部署 Gemma 4 26B QAT 实践记录

在32GB显卡上,Gemma 4 26B QAT模型跑出了433ms首字时延的惊艳成绩,真正实现了大模型的高效本地部署。

核心内容:

  1. Gemma 4 26B QAT模型的性能优势与架构特点
  2. 详细的硬件环境与从零开始的部署过程记录
  3. 当前主流部署方案的对比与选择原因

写在前面

我之前发过Gemma 4 QAT 相关的文章,当时刚出来比较兴奋,但是26B的一直没有上线,最近(8天前),我看到hugging face 上架了 26b的QAT 版本,马上体验了下,先直接说结论:在32GB显卡上,Unsloth 的 Gemma 4 26B A4B QAT GGUF 量化版跑出了 433ms 首字时延、156 tokens/s 的成绩,128K 上下文只用了 83% 显存。

这不是实验室里那种"能跑但不好用"的模型——它是真的可以每天用的。

为什么是 Gemma 4

Google DeepMind 的 Gemma 4 是一个系列,从 12B 到 31B,这个 26B A4B 是 MoE(混合专家)架构:

而 QAT(Quantization-Aware Training)是 Google 和 Unsloth 合作的量化方案——在训练阶段就把 4-bit 精度约束加进优化目标,让模型学会在低精度下"自救"。结果就是用 4-bit 跑出了接近 BF16 的质量。

这对我们这种只有两张消费级显卡的人来说,意义很大。

部署过程:从零开始的真实记录

硬件环境

项目 配置
CPU Intel Core Ultra 7 265KF
内存 128GB
GPU 32GB
显存合计 32GB
系统 Ubuntu 24.04

下载模型

模型来自 Unsloth 的 HuggingFace 仓库:unsloth/gemma-4-26B-A4B-it-qat-GGUF

GGUF 文件 9.8GB,在 HuggingFace 上下载的时候因为网络波动断了几次,用 curl -C - 续传每次都能接着断点继续,没有什么坑。

部署方案对比

可能有人会问:为什么不用 vLLM?

我试了。vLLM 0.22.0 的 GGUF 引擎只支持到 gemma3 架构——这个模型写的是 gemma4。

又查了最新版 vLLM(0.23.0),同样不支持。vLLM 的 GGUF 支持依赖于 gguf Python 包(llama.cpp 的 GGUF 协议绑定),而这个包目前最高版本(0.17.x)的 MODEL_ARCH_NAMES 里还没有 gemma4。这不是 vLLM 版本新旧能解决的问题——GGUF 协议层尚未收录 gemma4 架构,vLLM 的 GGUF 路径暂时无法走通。

目前能读 gemma4 GGUF 的是 Ollama 内置的最新版 llama.cpp,它有自己的 GGUF 引擎(不依赖 PyPI 上的 gguf 包)。

对比表:三种部署方案在 Gemma 4 QAT 上的实际情况

最终的选择是 Ollama(v0.30.6)。Ollama 底层是 llama.cpp,内置了 CUDA 12 的 GPU 支持库,双卡 tensor split 开箱即用。

部署命令极简:

ollama create gemma4-qat -f Modelfile

Modelfile 就一行:

FROM /path/to/gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.ggufPARAMETER num_ctx 131072

然后 ollama serve 就完了。

GPU 占用

加载后 nvidia-smi 输出:

GPU 0: 14.7 GB / 16 GBGPU 1: 11.9 GB / 16 GB合计: 26.6 GB / 32 GB (83%)

128K 上下文只用了 83% 的显存,余量还有 5.4GB。如果缩减到 32K 上下文,16G就够了。

Cherry Studio 实测

在 Cherry Studio 里配置 OpenAI 兼容接口,把地址指向 http://192.168.0.109:11434/v1,模型名填 gemma4-qat,直接就能用。

性能数据

最前面那句话的出处在这里:

指标 值
首字时延 433 ms
生成速度 156 t…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/OpenSourceLLM/2026062759176.html