一块 8.24GB 内存的 CPU,一个 2.78 万亿参数的大模型,甚至不需要显卡,Kimi K3 就这么水灵灵地跑起来了。
而满血版的 DeepSeek V4 Flash,也只需要用一台老黄的 DGX Spark,或者配备 128GB 运行内存的 Mac 电脑就可以运行。
从 2025 年初横空出世的 DeepSeek R1 掀起了一大波本地部署的潮流,各种密集的攻略教大家如何避开 DeepSeek 的「服务器繁忙,请稍后再试」,用手边的电脑,就能自己搭建一个不受限制的 DeepSeek R1。到了今年,大模型的参数几乎都从千亿到了万亿, 671B 的 R1 对比现在 2.78T 的 Kimi K3 和 2.4 T 的 Qwen3.8-Max,看起来是格格不入。
快速问答版本的 DeepSeek V4 Flash 维持在 284B,但 V4 Pro 预览版的总参数也达到了 1.6T。硬件上的变化同样如此,内存大涨价和本地 Agent 工具爆发的背景下,让 Mac Mini 等产品直接断货,苹果上调 Mac 等产品线起售价。黄仁勋去年年底推出的 DGX Spark,都从建议零售价 3999 美元涨到了 4699 美元起。AI 一天,人间一年。当时的本地部署教程放到眼下的万亿参数大模型上,都有了新的变化。如何在 2026 年部署一个本地大模型?需要什么配置?什么样的工作流适合自己部署一个大模型?部署哪个大模型?我们用这篇文章给大家讲清楚。太长不看总结版8GB 能跑 Kimi K3,但要 1.7TB 固态,一个 Token 等半分钟。本地部署先看显存容量,再看内存带宽。8GB 显存适合 4B—7B;16GB 可跑 9B—14B;24GB 进入 24B—27B;120B 模型通常需要 80GB 以上显存或大容量统一内存。DeepSeek V4 Flash 正把前沿模型带上个人桌面。Kimi K3 是怎么跑起来的输入「The capital of France is」,程序输出「Paris」。这个名为 kimi-k3-in-c 的 GitHub 项目,用不到 200KB 的 C 语言代码,完成了 Kimi K3 的 CPU 推理。没有 PyTorch,没有 CUDA,整个程序只依赖编译器、OpenMP 和系统数学库。
但 2.78 万亿参数并没有被塞进这 8GB 内存里。完整权重仍然占据约 1.56TB 硬盘空间,项目真正压缩的,是模型在任意时刻必须停留在内存中的部分。简单来说,就是开发者将模型的其他的权重全放到一块固态硬盘上。根据 Kimi K3 官方模型卡,模型共有 2.8 万亿参数,但每处理一个 Token,只会激活其中约 1040 亿参数,占总量的 3.7%。Kimi K3 一共有 93 层,其中 92 层使用 MoE。每一层都准备了 896 个不同的专家,路由器会根据当前 Token 的内容,从中选出 16 个参与计算。剩下的 880 个专家,当前这一轮完全用不上。
既然每层只用 16 个专家,程序只需要根据路由结果,从硬盘读取这 16 个专家。但把路由专家留在硬盘后,模型还有 113.49GB 无法绕开的稠密权重。这里包括注意力层、路由器、归一化、共享专家、Embedding 和输出层。它们几乎每生成一个 Token 都要参与计算,普通的 MoE 卸载方案通常会把这一部分完整放进内存。
kimi-k3-in-c 又做了一次流式处理,原始 Kimi K3 权重被分成 96 个模型权重文件,同一层里的权重散落在体积巨大的分片中。项目先运行一个打包脚本,把 93 层的稠密权重重新整理成一个约 109GB 的连续文件,每一层都对应一个固定的磁盘位置。开始推理后,程序会根据内存预算,尽可能固定一部分层。放不下的部分,则通过一个循环缓冲区逐层读取:当前层进来、完成计算、腾出缓冲区,下一层继续覆盖。最终,整个内存缩减过程变成了四个数字:5.56TB:所有参数采用 BF16 时的理论体积;1.56TB:官方发布的 MXFP4 权重;113.49GB:专家权重留在磁盘后,需要持续参与计算的部分;8.24GB:连稠密主干也改成逐层读取后,实际测得的峰值内存。
Kimi K3 的 69 个 KDA 层也帮了很大忙。KDA 不需要为每个历史 Token 保存一份完整 KV Cache,只维护固定大小的递归状态;另外 24 个 MLA 层则通过低维表示压缩注意力缓存。
Kimi K3 框架,KDA 是 Kimi Delta Attention,一种注意力机制配合增量解码,第一轮先处理完整 Prompt,之后每一轮只需要处理刚刚生成的新 Token。内存不会随着生成长度迅速失控,程序才有机会把更多空间留给权重调度。8 GB 的代价,是每个 Token 等半分钟8 个 Token 总共花了 261.5 秒,内存占用降到了 8.24GB,真正的成本转移到了硬盘和时间上。在最低内存配置下,Kimi K3 每生成一个 Token,需要读取约 25.83GB 专家权重。由于没有空间固定稠密层,约 108.81GB 的主干权重也会被重新扫描一遍。这意味着一个 Token 背后,可能对应超过 130GB 的磁盘数据搬运。
作者测得,8GB 档位平均需要 32.69 秒才能生成一个 Token,速度约为 0.03 Token/s。「The capital of France is」后面的 8 个 Token,总共等了四分多钟。在另一组统一条件的内存阶梯测试中,从 8GB 一路增加到 224GB,内存扩大了 28 倍,速度只提高约 1.7 倍。整个运行过程中,约四成到六成时间都花在等待硬盘。所以这套方案的关键硬件已经从 GPU 转…