Google DeepMind 于近期正式发布了 Gemma 4 系列开源模型,这是迄今为止他们推出的能力最强的开放权重模型家族。与此同时,Ollama 在 v0.20.0 版本中第一时间提供了对 Gemma 4 全系列的支持。本文将从零开始,带你完成 Ollama 的安装配置、Gemma 4 各版本的选型决策,以及在本地完整运行模型的全流程。
一、Ollama 是什么
Ollama[1] 是一个开源的本地大语言模型运行框架,让你能够在自己的机器上以极低的门槛运行各种开源 LLM。它的底层基于 llama.cpp[2],将模型下载、量化、推理、API 服务等一系列复杂操作封装成简单的命令行工具。
核心优势:
- • 一条命令即可运行:
ollama run llama3就能下载并启动一个 8B 模型 - • 自动量化与格式转换:模型以 GGUF 格式存储,自动适配你的硬件
- • 内置 REST API:自动在本地
11434端口提供 OpenAI 兼容的 API 接口 - • 跨平台支持:Windows、macOS、Linux 全平台原生支持
- • Apple Silicon 深度优化:v0.20 起基于 Apple MLX 框架,充分利用统一内存架构
- • NVIDIA GPU 加速:支持 CUDA,并支持最新的 NVFP4 量化格式
隐私保障:所有推理运算在本地完成,数据不经过任何外部服务器。这是很多企业和个人开发者选择 Ollama 的重要原因之一。
二、Ollama 基本使用方法
安装
macOS / Linux:
curl -fsSL https://ollama.com/install.sh | sh
Windows:
前往 ollama.com[3] 下载安装包,运行 .exe 安装程序,按提示完成安装。
安装完成后验证:
ollama --version
核心命令速查
## 下载并立即运行模型(如未下载则自动拉取)ollama run <模型名># 仅下载模型,不启动对话ollama pull <模型名># 查看本地已安装的模型ollama list# 删除本地模型ollama rm <模型名># 查看模型详情(架构、参数量、量化方式等)ollama show <模型名># 查看当前正在运行的模型ollama ps# 启动 Ollama 服务(安装后通常自动启动)ollama serve
对话模式
运行 ollama run <模型> 后,进入交互式对话:
>>> 你好,请介绍一下自己你好!我是 Gemma 4,由 Google DeepMind 开发的开源多模态语言模型...>>> /bye # 退出对话>>> /help # 查看可用命令>>> /clear # 清除对话历史
单次查询模式
## 直接在命令后跟问题,执行完退出ollama run gemma4 "用 Python 写一个快速排序算法"# 带图片输入(视觉理解)ollama run gemma4 "描述这张图片的内容 "
三、Gemma 4 是什么
Gemma 4 是 Google DeepMind 于 2025 年 4 月发布的第四代 Gemma 开源模型家族,基于与 Gemini 3 相同的研究成果构建,是目前 Google 发布的能力最强的开放权重模型系列。
关键特性
多模态能力 全系列模型均支持图像与文本混合输入,E2B 和 E4B 小型版本额外支持音频输入(语音识别与理解)。
双架构设计 同时提供 Dense(密集) 和 MoE(混合专家) 两种架构,覆盖从边缘设备到服务器的各种部署场景。
超长上下文窗口
- • 小型模型(E2B、E4B):128K tokens
- • 大型模型(26B、31B):256K tokens
可以在单次请求中处理整个代码库或超长文档。
推理(Thinking)模式
所有模型内置可配置的推理模式,通过在系统提示开头加入 <\|think\|> 标记来启用逐步推理,适合复杂逻辑任务。
原生函数调用 原生支持 Function Calling 和结构化 JSON 输出,是构建 AI Agent 的重要基础。
多语言支持 训练数据覆盖 140 余种语言,训练数据截止时间为 2025 年 1 月。
开源许可 采用 Apache 2.0 许可证,可商业使用,无限制。自 Gemma 系列首发至今,累计下载量已超过 4 亿次。
四、Gemma 4 各版本详解
Gemma 4 提供四个尺寸,每个尺寸均有预训练(base)和指令微调(instruction-tuned,后缀为 -it)两个变体。Ollama 默认提供的是指令微调版本。
Gemma 4 E2B(Effective 2B)
| 属性 | 详情 |
|---|---|
| 有效参数量 | ~2B("E" 代表 Effective,有效参数) |
| 架构 | Dense + Per-Layer Embeddings(PLE) |
| 上下文窗口 | 128K tokens |
| 多模态 | 图像 + 文本 + 音频 |
| Ollama 下载大小 | ~7.2 GB |
| 最低显存需求 | 4 GB VRAM(或 8 GB 内存 CPU 推理) |
| Ollama 命令 | ollama run gemma4:e2b |
E2B 采用了 Per-Layer Embeddings(PLE) 架构创新——相比传统 Transformer 每层共享同一输入嵌入,PLE 为每一层提供独立的条件化信号,让模型在参数量极小的情况下实现更强的表达能力。这也是"Effective"名字的由来:实际能力远超参数量字面数字所暗示的水平。
适用场景:
- • 低配设备、树莓派、旧笔记本
- • 对延迟极度敏感的应用
- • 快速问答、文本分类、简单摘要
- • 移动端或边缘计算部署
Gemma 4 E4B(Effective 4B)⭐ 推荐入门首选
| 属性 | 详情 |
|---|---|
| 有效参数量 | ~4.5B |
| 架构 | Dense + PLE |
| 上下文窗口 | 128K tokens |
| 多模态 | 图像 + 文本 + 音频 |
| Ollama 下载大小 | ~9.6 GB(默认 Q4_K_M 量化) |
| 最低显存需求 | 6 GB VRAM |
| Ollama 命令 | ollama run gemma4:e4b(即 ollama run gemma4) |
E4B 是 Gemma 4 家族中 性价比最高 的版本,也是 Ollama 的默认 tag(gemma4 不加后缀即为 E4B)。在基准测试中,E4B 的性能超越了 Gemma 3 的 27B 模型,而活跃参数量仅为后者的约六分之一。
适用场景:
- • 日常 AI 助手(问答、写作、翻译)
- • 轻量代码生成与辅助
- • 图文理解任务(OCR、图表分析)
- • 语音输入处理
- • 配备 6~8 GB 显存的消费级 GPU(RTX 3060/4060 等)
Gemma 4 26B A4B(Mixture of Experts)
| 属性 | 详情 |
|---|---|
| 总参数量 | 26B(每次推理激活 ~3.8B,约 128 个专家网络) |
| 架构 | MoE(混合专家) |
| 上下文窗口 | 256K tokens |
| 多模态 | 图像 + 文本 |
| Ollama 下载大小 | ~18 GB |
| 最低显存需求 | 16 GB VRAM(Q4 量化) |
| Ollama 命令 | ollama run gemma4:26b |
MoE 架构的精妙之处在于:虽然模型总参数为 26B,但每次推理只激活约 3.8B 的参数(128 个专家中只有少数被激活),因此推理速度接近 4B 模型,而知识储备接近 26B 模型。在同等硬件上,26B MoE 的生成速度约是 31B Dense 的 2~3 倍。
在 Arena AI 开放模型榜单中,26B 版本位列全球第六,展现出远超其实际计算开销的能力。
适用场景:
- • 中等配置的 GPU 服务器(RTX 3090/4090、16 GB 显卡)
- • Agent 工作流(函数调用、工具使用)
- • 长文档分析(最大 256K 上下文)
- • 代码生成与代码库理解
- • 对速度有要求的生产环境
Gemma 4 31B(Dense)
| 属性 | 详情 |
|---|---|
| 参数量 | 30.7B |
| 架构 | Dense(全量密集) |
| 上下文窗口 | 256K tokens |
| 多模态 | 图像 + 文本 |
| Ollama 下载大小 | ~20 GB |
| 最低显存需求 | 24 GB VRAM(Q4 量化)/ 48 GB+(Q8) |
| Ollama 命令 | ollama run gemma4:31b |
31B Dense 是家族中能力最强的本地部署版本,在 Arena AI 开放模型榜单中位列全球第三(截至 2025 年 4 月)。所有参数在每次推理中均参与计算,推理质量最高但速度相对较慢。
对于大多数消费者来说,需要配备 RTX 4090(24 GB)或同等显卡才能以 Q4 量化流畅运行。Apple Silicon 用户需要 M 系列芯片 + 32 GB 以上统一内存。
适用场景:
- • 高端工作站、专业研究环境
- • 对推理质量要求极高的任务(复杂数学、深度推理)
- • 不惜牺牲速度换取最佳输出质量
- • 24 GB 以上显卡或 Apple Silicon 大内存机型
版本对比总览
| 版本 | 下载大小 | 最低显存 | 上下文 | 音频支持 | 速度 | 质量 | 推荐硬件 |
|---|---|---|---|---|---|---|---|
| E2B | 7.2 GB | 4 GB | 128K | ✅ | ⚡⚡⚡⚡ | ⭐⭐ | 8 GB 内存笔记本 |
| E4B | 9.6 GB | 6 GB | 128K | ✅ | ⚡⚡⚡ | ⭐⭐⭐⭐ | RTX 3060/4060 |
| 26B MoE | 18 GB | 16 GB | 256K | ❌ | ⚡⚡⚡ | ⭐⭐⭐⭐⭐ | RTX 3090/4090 |
| 31B Dense | 20 GB | 24 GB | 256K | ❌ | ⚡⚡ | ⭐⭐⭐⭐⭐ | RTX 4090 / M 系列 32 GB+ |
五、如何选择适合的版本
决策流程图
你的 GPU 显存是多少?│├── < 6 GB → 选 gemma4:e2b(纯 CPU 也能跑)│├── 6~8 GB → 选 gemma4:e4b(默认推荐,性价比最高)│├── 12~16 GB → 选 gemma4:e4b 或 gemma4:26b(取决于任务复杂度)│├── 16~24 GB → 选 gemma4:26b(MoE 速度快、质量强)│└── 24 GB 以上 → 选 gemma4:31b(最强质量)或 gemma4:26b(更快)
按使用场景选型
| 使用场景 | 推荐版本 | 理由 |
|---|---|---|
| 日常问答、文字处理 | E4B | 速度快,质量足够 |
| 代码补全与生成 | E4B / 26B | 26B 对复杂项目更准确 |
| 长文档理解(> 100K tokens) | 26B / 31B | 需要 256K 上下文 |
| 语音处理、音频输入 | E2B / E4B | 仅小型版支持音频 |
| 图像分析与 OCR | E4B / 26B | 均支持图像,按硬件选 |
| AI Agent、工具调用 | 26B | MoE 速度快且原生支持函数调用 |
| 复杂推理、数学证明 | 31B | 开启 Thinking 模式效果最佳 |
| 边缘设备、树莓派 | E2B | 资源占用最低 |
| 多并发… |