Harness 与 Agent 工程 · AI研发与测试工程 · 2026-08-06

英伟达出手,Qwen3.6-27B 量化版来了,褒贬不一

英伟达入局Qwen3.6-27B量化版,显存降2.5x但性能争议不断,一文读懂官方版本的香与坑。 核心内容:

  1. 英伟达推出的Qwen3.6-27B-NVFP4版本及量化特点
  2. 显存收益与性能分歧(NVFP4 vs FP8,不同硬件表现差异)
  3. 社区反馈问题及部署建议

Qwen3.6-27B 是最受全球本地部署爱好者追捧的大模型,当然也是我的最爱,之前介绍过多次了

Qwen3.6-27B 量化版本推荐,本地部署 Qwen3.6-27B 开源了,27B 小身板干翻 397B 巨无霸 Claude Opus蒸馏Qwen3.6-27B,GGUF来了,消费级显卡轻松本地部署! Claude Opus 蒸馏 Qwen3.6-27B,v2 来了

这次英伟达也下场了,放出了nvidia/Qwen3.6-27B-NVFP4

乍一看很香:官方 ModelOpt 量化,Apache 2.0,vLLM 直接 serve,模型卡写着磁盘和 GPU 显存需求大约降低2.5x

但我翻完模型卡和社区 discussion 后,感觉有必要详细介绍一下

先说结论

这个模型到底是什么

项目 信息
基座 Alibaba Qwen3.6-27B
参数量 27B
架构 Hybrid Attention,Gated DeltaNet + Gated Attention
上下文 262K,Qwen 原版还写了可扩展到 1,010,000 tokens
量化工具 nvidia-modelopt v0.45.0
量化目标 transformer blocks 内 linear operators 的权重与激活
推理引擎 vLLM
官方测试硬件 NVIDIA GB300
硬件兼容 Hopper / Blackwell
License Apache 2.0

Qwen3.6-27B 自身的亮点也很明确,主打 Agentic Coding、仓库级推理、Thinking Preservation,以及更长的上下文

对本地部署玩家来说,最关键的其实就两个词:27B + 262K

27B 代表它还在个人工作站和单卡专业卡的想象范围里,262K 代表它适合 Agent、RAG、长文档、代码仓库这类吃上下文的任务

英伟达这次做 NVFP4,理论上的吸引力很直接:把 27B 再压一压,让它更容易塞进显存,同时尽量保住 Qwen3.6 的能力

官方精度表:没明显变傻

官方模型卡给了 NVFP4 和 FP8 的 accuracy benchmark,我把关键数字搬出来

Benchmark FP8 NVFP4 差值
MMLU Pro 86.1 86.3 +0.2
GPQA Diamond 86.0 85.5 -0.5
HLE 21.7 21.8 +0.1
τ²-Bench Telecom 95.2 95.4 +0.2
MMMU Pro 74.6 74.3 -0.3
SciCode 44.8 44.5 -0.3
AIME 2025 93.1 92.7 -0.4
AA-LCR 68.8 68.3 -0.5
IFBench 65.1 65.5 +0.4

一句话,精度层面基本可以放心,差值大多在 0.5 以内,考虑到 benchmark 本身的波动,这个结果挺漂亮

社区的质量测试也支持这个判断,7 个 prompt 的质量检查,包括诗歌、投诉邮件、HTML todo、HTML Snake、逻辑题转 JSON、merge_intervals、59KB 文档转 JSON

结果很接近:

所以我的判断是:正常非思考模式下,NVFP4 没有明显质量塌陷;但做确定性代码任务时,Thinking mode 要谨慎

官方部署方式

NVIDIA 模型卡给的 vLLM 命令很简短

vllm serve nvidia/Qwen3.6-27B-NVFP4 \ --port 8000 \ --quantization modelopt \ --max-model-len…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/OpenSourceLLM/2026080639071.html