Harness 与 Agent 工程 · AI研发与测试工程 · 2026-05-06

Ollama 换引擎,苹果 M5 封神了

Ollama 0.19悄然换芯,苹果M5芯片性能飙升,本地模型运行速度提升近一倍!

核心内容:

  1. Ollama底层引擎从llama.cpp切换至苹果MLX框架的技术变革
  2. 统一内存架构带来的57%-93%性能提升实测数据
  3. M5芯片专属GPU神经加速器的隐藏AI性能大招

Ollama 0.19 偷偷换了底层的引擎。

3 月 30 号发的,没有发布会,没有热搜,changelog 里写了一句「powered by MLX on Apple Silicon」。

但如果你用 Mac 跑本地模型,这个改动的影响比大多数发布会都大。

底层引擎,整个换了。

之前 Ollama 跑在 llama.cpp 上。现在跑在苹果自家的 MLX 框架里。不是小修小补,是从地基开始重建。

llama.cpp 是给 NVIDIA 写的。

它的底层逻辑很清晰:CPU 内存和 GPU 显存是分开的,数据要来回搬运。这个假设在 CUDA 世界完全正确——RTX 5090 的 GDDR7 带宽 1792 GB/s,搬得快。

但 Apple Silicon 从来不是这个世界。

从 M1 开始,苹果就用统一内存架构。CPU、GPU、神经引擎共享同一块物理内存。没有「搬」这个动作,因为数据本来就在同一个地方。

llama.cpp 不理解这件事。它还是会按 CUDA 的逻辑把数据从「CPU 侧」搬到「GPU 侧」,哪怕它们是同一块芯片上的同一个内存池。多了一道无用功。

MLX 从第一天起就为统一内存设计。零拷贝操作,张量直接在统一内存上计算,省掉整个搬运环节。

Ollama 官方博客给的数据:同一个 Qwen3.5-35B 模型,从 llama.cpp 切到 MLX——

prefill 从 1154 涨到 1810 tok/s,+57%。

decode 从 58 涨到 112 tok/s,+93%。

换 int4 量化之后,prefill 到 1851,decode 到 134。

Ollama 官方 benchmark:Qwen3.5-35B-A3B,NVFP4 量化(来源:ollama.com/blog/mlx)

这还只是 35B 级别的模型。

适用范围提醒(后文数据均在此范围内)

  • • MLX 加速目前仅对 Qwen3.5-35B-A3B 生效(Ollama 0.19 preview)
  • • Llama 系列在 Ollama 中仍走 llama.cpp 后端,暂不受 MLX 加速
  • • 硬件门槛:32GB 统一内存起步,128GB 体验完整
  • • 35B(MoE)和 70B(稠密)是完全不同的体验档位,下文会展开

M5 的隐藏大招

Ollama 博客里有一句容易被忽略的话:

On Apple's M5, M5 Pro and M5 Max chips, Ollama leverages the new GPU Neural Accelerators.

GPU Neural Accelerator。

苹果在 M5 系列的每个 GPU 核心里,塞了一个专用的 AI 加速单元。这不是 Neural Engine 的升级版,是 GPU 内部的硬件级加速。M5 Pro 和 M5 Max 的峰值 GPU 算力因此提升了 4 倍。

M5 Max:40 核 GPU,614 GB/s 带宽,128GB 统一内存。

这些数字单看没感觉。放到具体场景里就懂了。

70B 模型实测

独立硬件评测站 CraftRigs 用 M5 Max 128GB(40 核 GPU)跑了 Llama 3.1 70B Q4_K_M:

30 到 45 tok/s。

32 核版本约 30 tok/s。50 个 token 的回复,1.1 到 1.7 秒出完。

聊天、代码补全、文档总结——体感完全可用。

什么概念?M4 Max 跑同样的 70B 模型,只有 11-12 tok/s。M3 Max 是 8-9 tok/s。一代之间,3 倍。

这个 3 倍可以拆开看。硬件层面,M5 的 GPU Neural Accelerator 和更高带宽贡献了大部分。软件层面,苹果的 Metal 后端也在持续优化——同样的 M5 Max 芯片,llama.cpp 从 0.18 到 0.19 即使不走 MLX,也有小幅提升。

换句话说,M4→M5 的 3 倍来自硬件。…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/OpenSourceLLM/2026050648175.html