Harness 与 Agent 工程 · AI研发与测试工程 · 2026-04-18

Ollama 本地部署 Gemma 4 完全指南

Google最新开源模型Gemma 4本地运行全攻略,Ollama一键部署轻松搞定AI助手!

核心内容:

  1. Ollama框架的核心优势与安装方法
  2. Gemma 4模型选型与本地部署全流程
  3. 常用命令速查与交互式对话操作指南

Google DeepMind 于近期正式发布了 Gemma 4 系列开源模型,这是迄今为止他们推出的能力最强的开放权重模型家族。与此同时,Ollama 在 v0.20.0 版本中第一时间提供了对 Gemma 4 全系列的支持。本文将从零开始,带你完成 Ollama 的安装配置、Gemma 4 各版本的选型决策,以及在本地完整运行模型的全流程。

一、Ollama 是什么

Ollama[1] 是一个开源的本地大语言模型运行框架,让你能够在自己的机器上以极低的门槛运行各种开源 LLM。它的底层基于 llama.cpp[2],将模型下载、量化、推理、API 服务等一系列复杂操作封装成简单的命令行工具。

核心优势:

隐私保障:所有推理运算在本地完成,数据不经过任何外部服务器。这是很多企业和个人开发者选择 Ollama 的重要原因之一。

二、Ollama 基本使用方法

安装

macOS / Linux:

curl -fsSL https://ollama.com/install.sh | sh

Windows: 前往 ollama.com[3] 下载安装包,运行 .exe 安装程序,按提示完成安装。

安装完成后验证:

ollama --version

核心命令速查

## 下载并立即运行模型(如未下载则自动拉取)ollama run <模型名># 仅下载模型,不启动对话ollama pull <模型名># 查看本地已安装的模型ollama list# 删除本地模型ollama rm <模型名># 查看模型详情(架构、参数量、量化方式等)ollama show <模型名># 查看当前正在运行的模型ollama ps# 启动 Ollama 服务(安装后通常自动启动)ollama serve

对话模式

运行 ollama run <模型> 后,进入交互式对话:

>>> 你好,请介绍一下自己你好!我是 Gemma 4,由 Google DeepMind 开发的开源多模态语言模型...>>> /bye # 退出对话>>> /help # 查看可用命令>>> /clear # 清除对话历史

单次查询模式

## 直接在命令后跟问题,执行完退出ollama run gemma4 "用 Python 写一个快速排序算法"# 带图片输入(视觉理解)ollama run gemma4 "描述这张图片的内容 "

三、Gemma 4 是什么

Gemma 4 是 Google DeepMind 于 2025 年 4 月发布的第四代 Gemma 开源模型家族,基于与 Gemini 3 相同的研究成果构建,是目前 Google 发布的能力最强的开放权重模型系列。

关键特性

多模态能力 全系列模型均支持图像与文本混合输入,E2B 和 E4B 小型版本额外支持音频输入(语音识别与理解)。

双架构设计 同时提供 Dense(密集) 和 MoE(混合专家) 两种架构,覆盖从边缘设备到服务器的各种部署场景。

超长上下文窗口

可以在单次请求中处理整个代码库或超长文档。

推理(Thinking)模式 所有模型内置可配置的推理模式,通过在系统提示开头加入 <\|think\|> 标记来启用逐步推理,适合复杂逻辑任务。

原生函数调用 原生支持 Function Calling 和结构化 JSON 输出,是构建 AI Agent 的重要基础。

多语言支持 训练数据覆盖 140 余种语言,训练数据截止时间为 2025 年 1 月。

开源许可 采用 Apache 2.0 许可证,可商业使用,无限制。自 Gemma 系列首发至今,累计下载量已超过 4 亿次。

四、Gemma 4 各版本详解

Gemma 4 提供四个尺寸,每个尺寸均有预训练(base)和指令微调(instruction-tuned,后缀为 -it)两个变体。Ollama 默认提供的是指令微调版本。

Gemma 4 E2B(Effective 2B)

属性 详情
有效参数量 ~2B("E" 代表 Effective,有效参数)
架构 Dense + Per-Layer Embeddings(PLE)
上下文窗口 128K tokens
多模态 图像 + 文本 + 音频
Ollama 下载大小 ~7.2 GB
最低显存需求 4 GB VRAM(或 8 GB 内存 CPU 推理)
Ollama 命令 ollama run gemma4:e2b

E2B 采用了 Per-Layer Embeddings(PLE) 架构创新——相比传统 Transformer 每层共享同一输入嵌入,PLE 为每一层提供独立的条件化信号,让模型在参数量极小的情况下实现更强的表达能力。这也是"Effective"名字的由来:实际能力远超参数量字面数字所暗示的水平。

适用场景:

Gemma 4 E4B(Effective 4B)⭐ 推荐入门首选

属性 详情
有效参数量 ~4.5B
架构 Dense + PLE
上下文窗口 128K tokens
多模态 图像 + 文本 + 音频
Ollama 下载大小 ~9.6 GB(默认 Q4_K_M 量化)
最低显存需求 6 GB VRAM
Ollama 命令 ollama run gemma4:e4b(即 ollama run gemma4)

E4B 是 Gemma 4 家族中 性价比最高 的版本,也是 Ollama 的默认 tag(gemma4 不加后缀即为 E4B)。在基准测试中,E4B 的性能超越了 Gemma 3 的 27B 模型,而活跃参数量仅为后者的约六分之一。

适用场景:

Gemma 4 26B A4B(Mixture of Experts)

属性 详情
总参数量 26B(每次推理激活 ~3.8B,约 128 个专家网络)
架构 MoE(混合专家)
上下文窗口 256K tokens
多模态 图像 + 文本
Ollama 下载大小 ~18 GB
最低显存需求 16 GB VRAM(Q4 量化)
Ollama 命令 ollama run gemma4:26b

MoE 架构的精妙之处在于:虽然模型总参数为 26B,但每次推理只激活约 3.8B 的参数(128 个专家中只有少数被激活),因此推理速度接近 4B 模型,而知识储备接近 26B 模型。在同等硬件上,26B MoE 的生成速度约是 31B Dense 的 2~3 倍。

在 Arena AI 开放模型榜单中,26B 版本位列全球第六,展现出远超其实际计算开销的能力。

适用场景:

Gemma 4 31B(Dense)

属性 详情
参数量 30.7B
架构 Dense(全量密集)
上下文窗口 256K tokens
多模态 图像 + 文本
Ollama 下载大小 ~20 GB
最低显存需求 24 GB VRAM(Q4 量化)/ 48 GB+(Q8)
Ollama 命令 ollama run gemma4:31b

31B Dense 是家族中能力最强的本地部署版本,在 Arena AI 开放模型榜单中位列全球第三(截至 2025 年 4 月)。所有参数在每次推理中均参与计算,推理质量最高但速度相对较慢。

对于大多数消费者来说,需要配备 RTX 4090(24 GB)或同等显卡才能以 Q4 量化流畅运行。Apple Silicon 用户需要 M 系列芯片 + 32 GB 以上统一内存。

适用场景:

版本对比总览

版本 下载大小 最低显存 上下文 音频支持 速度 质量 推荐硬件
E2B 7.2 GB 4 GB 128K ✅ ⚡⚡⚡⚡ ⭐⭐ 8 GB 内存笔记本
E4B 9.6 GB 6 GB 128K ✅ ⚡⚡⚡ ⭐⭐⭐⭐ RTX 3060/4060
26B MoE 18 GB 16 GB 256K ❌ ⚡⚡⚡ ⭐⭐⭐⭐⭐ RTX 3090/4090
31B Dense 20 GB 24 GB 256K ❌ ⚡⚡ ⭐⭐⭐⭐⭐ RTX 4090 / M 系列 32 GB+

五、如何选择适合的版本

决策流程图

你的 GPU 显存是多少?│├── < 6 GB → 选 gemma4:e2b(纯 CPU 也能跑)│├── 6~8 GB → 选 gemma4:e4b(默认推荐,性价比最高)│├── 12~16 GB → 选 gemma4:e4b 或 gemma4:26b(取决于任务复杂度)│├── 16~24 GB → 选 gemma4:26b(MoE 速度快、质量强)│└── 24 GB 以上 → 选 gemma4:31b(最强质量)或 gemma4:26b(更快)

按使用场景选型

使用场景 推荐版本 理由
日常问答、文字处理 E4B 速度快,质量足够
代码补全与生成 E4B / 26B 26B 对复杂项目更准确
长文档理解(> 100K tokens) 26B / 31B 需要 256K 上下文
语音处理、音频输入 E2B / E4B 仅小型版支持音频
图像分析与 OCR E4B / 26B 均支持图像,按硬件选
AI Agent、工具调用 26B MoE 速度快且原生支持函数调用
复杂推理、数学证明 31B 开启 Thinking 模式效果最佳
边缘设备、树莓派 E2B 资源占用最低
多并发…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/OpenSourceLLM/2026041859138.html