Harness 与 Agent 工程 · AI研发与测试工程 · 2026-05-04

Apple Silicon 上本地跑 LLM,速度直接甩 Ollama 几条街

在 Apple Silicon 上本地运行大模型,Rapid-MLX 让速度提升2-4倍,工具调用和提示缓存一步到位,彻底告别卡顿等待。

核心内容:

  1. Rapid-MLX 在 Apple Silicon 上的性能优势与速度表现
  2. MLX 框架如何利用统一内存架构实现高效运算
  3. Rapid-MLX 的实际应用场景与支持模型

在 Mac Studio 或者 M 系列 MacBook 上,你敲完代码后想立刻让本地大模型帮你补全、改 bug、甚至调用工具链执行任务,结果等半天第一句回复才蹦出来。或者用着用着就卡在工具调用解析失败上,只能切换云端 API 交智商税。

Rapid-MLX 把这些日常摩擦直接干掉。它用 Apple 自家的 MLX 框架搭了个 FastAPI 服务,提供完整的 OpenAI 兼容 API,在 Apple Silicon 上比 Ollama 快 2-4 倍,缓存续轮 TTFT 能压到 0.08 秒左右,还原生把工具调用和提示缓存做好了。Cursor、Claude Code、Aider、LangChain 直接改个 base_url 就能接上。

我自己之前在 M 系列机器上折腾过不少本地推理方案,Ollama 用着方便但一到大模型或者高并发就喘,llama.cpp 虽然快但生态对接总差一口气。Rapid-MLX 这次给我的感觉是,它把“能跑”和“跑得爽”之间的那道坎抹平了。

为什么在 Apple Silicon 上 MLX 能跑这么快

普通读者可能觉得,本地跑大模型不就是把参数加载到内存里算吗?其实 Mac 的统一内存架构(Unified Memory)是关键——CPU、GPU、Neural Engine 共享一块内存,数据不用在不同芯片间拷贝。MLX 框架把这个特性吃得死死的,运算直接贴着硬件走。

后果很直接:同样一个 30B 左右的模型,在 Mac Mini / Studio 上生成速度能跑到 100+ tok/s(大致相当于每秒输出上百个词),而很多其他方案容易掉到一半甚至更低。实际用起来就是打字机式输出变成流水线,工具调用时等待感大幅下降。

技术上看,Rapid-MLX 在 KV 缓存(Key-Value cache,模型记住上文用的)上做了裁剪和 DeltaNet 状态快照,续轮推理时只需要处理增量部分。这不是小优化,直接把 Time To First Token(TTFT,第一词出来的等待时间)压到毫秒级。工具调用方面它塞了 17 种解析器,Qwen、DeepSeek、Gemma、GLM 等模型输出的格式乱了也能自动修,量化后输出崩坏的情况容错率高不少。

我以前…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/LargeLanguageModel/2026050471496.html