在 Mac Mini 上部署本地大模型(LLM)时,新手往往会遇到两个拦路虎:一是原始模型对电脑内存的巨大消耗,二是复杂的代码环境配置。
别担心!OpenClaw 为你提供了极佳的图形化交互体验,而模型量化(Quantization)技术则是让它在普通家用电脑上“起飞”的秘密武器,能在几乎不损失 AI 智商的前提下,将模型体积压缩至原来的 1/4 甚至更小,大幅降低内存需求。
本文档是一份纯“保姆级”的操作指南。跟着步骤走,完全不需要编程基础,就能把你的 Mac 变成一台高效、绝对保护隐私的 AI 工作站!
🛠️ 第一步:安装 Ollama(本地 AI 引擎)
Ollama 是目前最简单、最高效的本地 AI 运行工具。你可以把它想象成一个“万能播放器”,专门用来加载和运行各种 AI 模型。
- 打开 Mac 的 终端 (Terminal)(在“启动台”里搜索即可),复制并粘贴以下命令,然后按回车:
curl -fsSL https://ollama.com/install.sh | sh
(注:安装过程中如果提示输入密码,请输入你的 Mac 开机密码。输入时屏幕上不会显示字符,这是正常的,输完直接按回车即可。)
- 验证是否成功: 安装完成后,在终端输入以下命令并回车:
ollama --version
如果屏幕上显示类似 ollama version is 0.18.2(或更高版本),恭喜你,第一步大功告成!
🏗️ 第二步:获取量化模型
原始的 AI 模型体型巨大,我们需要根据你 Mac Mini 的内存大小,选择合适的“压缩版”(即 4-bit 量化版)模型。
📊 内存选型参考表(4-bit 压缩标准下)
| Mac Mini 内存 | 建议部署的模型大小 (参数量) |
|---|---|
| 16 GB | 推荐 7B - 14B 级别的模型 |
| 32 GB | 推荐 15B - 35B 级别的模型 |
💡 实战演示: 本教程将以 32GB 内存的 Mac Mini 部署 Qwen3.5-35B 模型为例。
获取模型有两种方式,请任选其一:
选项 A:极简模式(推荐新手:直接下载现成模型)
最简单的方法是直接下载 AngelSlim 团队已经为你压缩打包好的 .gguf 模型文件。
- 新建文件夹: 在终端中输入以下命令,在你的用户目录下创建一个名为 Models 的专用文件夹并进入该文件夹:
mkdir -p ~/Models && cd ~/Models
-
下载文件:访问 魔搭社区 https://modelscope.cn/models/AngelSlim/Qwen3.5-35B-Q4_K_M/files,找到名为 Qwen3.5-35B-Q4_K_M.gguf 的文件(约 22GB)并下载。
-
存放位置: 将下载好的 .gguf 文件直接拖入刚才创建的 Models 文件夹中。
选项 B:极客模式(适合进阶:手动压缩最新模型)
如果你在魔搭社区或者其他开源站点上有心仪的模型,可以通过以下步骤将模型手动压缩。我们同样以魔搭社区 上的Qwen3.5-35B模型为例
- 准备环境并下载原模型: (一行一行复制运行)
## 安装环境/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"brew install cmake git python@3.11pip install modelscope# 下载原始未量化的庞大模型到 Models 文件夹mkdir -p ~/Models && cd ~/Modelsmode…