Qwen3.6-27B 是最受全球本地部署爱好者追捧的大模型,当然也是我的最爱,之前介绍过多次了
Qwen3.6-27B 量化版本推荐,本地部署 Qwen3.6-27B 开源了,27B 小身板干翻 397B 巨无霸 Claude Opus蒸馏Qwen3.6-27B,GGUF来了,消费级显卡轻松本地部署! Claude Opus 蒸馏 Qwen3.6-27B,v2 来了
这次英伟达也下场了,放出了nvidia/Qwen3.6-27B-NVFP4
乍一看很香:官方 ModelOpt 量化,Apache 2.0,vLLM 直接 serve,模型卡写着磁盘和 GPU 显存需求大约降低2.5x
但我翻完模型卡和社区 discussion 后,感觉有必要详细介绍一下
先说结论
- 显存收益是真实的:官方说把 transformer block 里的 linear operators 权重和激活量化到 NVFP4,参数位宽从 16 bit 降到 4 bit,磁盘和 GPU 显存需求大约降 2.5x
- 精度基本稳住了:官方评测里 NVFP4 和 FP8 很接近,MMLU Pro 甚至 86.3 vs 86.1,小赢 0.2
- 性能有分歧:有测试 NVFP4 在 RTX PRO 6000 Blackwell 上 decode 可以跑到 200 t/s 左右,FP8 约 112 t/s;但也有更完整对测里,FP8 在 decode-bound 场景反而快 8-12%
- 坑也很具体:B200 / DGX Spark / RTX PRO 6000 Blackwell 上都有人遇到 Marlin 警告、
modelopt_mixed、以及重复!/dtoken 的问题 - 生产建议很朴素:显存紧张、长上下文、想跑 27B 的同学可以试 NVFP4;追求稳定吞吐的同学,务必拿 FP8 在同一套 vLLM / FlashInfer / MTP 配置下 A/B
这个模型到底是什么
| 项目 | 信息 |
|---|---|
| 基座 | Alibaba Qwen3.6-27B |
| 参数量 | 27B |
| 架构 | Hybrid Attention,Gated DeltaNet + Gated Attention |
| 上下文 | 262K,Qwen 原版还写了可扩展到 1,010,000 tokens |
| 量化工具 | nvidia-modelopt v0.45.0 |
| 量化目标 | transformer blocks 内 linear operators 的权重与激活 |
| 推理引擎 | vLLM |
| 官方测试硬件 | NVIDIA GB300 |
| 硬件兼容 | Hopper / Blackwell |
| License | Apache 2.0 |
Qwen3.6-27B 自身的亮点也很明确,主打 Agentic Coding、仓库级推理、Thinking Preservation,以及更长的上下文
对本地部署玩家来说,最关键的其实就两个词:27B + 262K
27B 代表它还在个人工作站和单卡专业卡的想象范围里,262K 代表它适合 Agent、RAG、长文档、代码仓库这类吃上下文的任务
英伟达这次做 NVFP4,理论上的吸引力很直接:把 27B 再压一压,让它更容易塞进显存,同时尽量保住 Qwen3.6 的能力
官方精度表:没明显变傻
官方模型卡给了 NVFP4 和 FP8 的 accuracy benchmark,我把关键数字搬出来
| Benchmark | FP8 | NVFP4 | 差值 |
|---|---|---|---|
| MMLU Pro | 86.1 | 86.3 | +0.2 |
| GPQA Diamond | 86.0 | 85.5 | -0.5 |
| HLE | 21.7 | 21.8 | +0.1 |
| τ²-Bench Telecom | 95.2 | 95.4 | +0.2 |
| MMMU Pro | 74.6 | 74.3 | -0.3 |
| SciCode | 44.8 | 44.5 | -0.3 |
| AIME 2025 | 93.1 | 92.7 | -0.4 |
| AA-LCR | 68.8 | 68.3 | -0.5 |
| IFBench | 65.1 | 65.5 | +0.4 |
一句话,精度层面基本可以放心,差值大多在 0.5 以内,考虑到 benchmark 本身的波动,这个结果挺漂亮
社区的质量测试也支持这个判断,7 个 prompt 的质量检查,包括诗歌、投诉邮件、HTML todo、HTML Snake、逻辑题转 JSON、merge_intervals、59KB 文档转 JSON
结果很接近:
- 逻辑题两边都是5/5 correct
merge_intervals两边都过6/6 edge cases,都能处理 ValueError,也都没有 mutation- 59KB 文档转 JSON 两边都能产出 valid JSON,严重程度都判成
high - HTML todo 和 Snake 都是 valid single-file,关键 API 存在
- Thinking mode 下,NVFP4 在一个 trivial Python 任务里 16K token budget 都没把函数收完,FP8 能正确完成
所以我的判断是:正常非思考模式下,NVFP4 没有明显质量塌陷;但做确定性代码任务时,Thinking mode 要谨慎
官方部署方式
NVIDIA 模型卡给的 vLLM 命令很简短
vllm serve nvidia/Qwen3.6-27B-NVFP4 \ --port 8000 \ --quantization modelopt \ --max-model-len…