这两年大模型卷得飞起:ChatGPT、通义千问、文心一言层出不穷。对普通用户来说,在网页上聊两句就够了;但对开发者 / 研究者 / 数据分析党来说,真正有用的是三件事:
- • 在本地跑起来
- • 用 API 把模型接进自己的业务
- • 在开发工具里无缝用上“会写代码的 AI”
这篇推文,就带你用 Ollama + 本地/云端 API + + LLM封装打通这条链路,做一套「自己的 AI 工作流」。
一、本地部署:为什么越来越多人选择 Ollama?
很多人第一反应: “我直接用在线大模型不香吗?为什么还要折腾本地部署?” 本地部署有几大优势:
-
- 隐私&安全:代码、数据不出本机,对企业 / 研究来说很关键
-
- 可控成本:不用担心 API token 一不小心跑爆预算
-
- 可定制:可以下载特定领域模型(代码、金融、法律等),甚至做 LoRA 微调
-
- 离线可用:断网的时候,它还在 而在一众本地部署方案里,Ollama 的优点是:
- • 跨平台(Windows / macOS / Linux)
- • 一行命令拉模型、一行命令跑起来
- • 自带 HTTP API,很适合接前端、后端、脚本二、Ollama 安装 & 跑通第一个本地模型
1. 安装 Ollama
🔍 可以去官网搜索 “Ollama”,根据系统下载对应安装包,直接默认路径下载即可。https://ollama.com/download
安装完成后,命令行终端里可以输入ollama看到帮助信息。输入ollama -v查看安装版本。
安装好后,打开https://ollama.com/library随便找一个模型下载,例如DeepSeek-r1。
打开Ollama,第一种是直接打开下载好的APP。安装后,Ollama 的图标会显示在桌面右下角的系统托盘区域。也可以直接在这里面对话。
第二种是终端启动。打开终端,试试直接跑一个模型。例如:
ollama serve #启动(如果APP启动了本命令忽略)ollama run deepseek-r1:1.5b #下载模型到本地,后面可替换为其它模型
终端会自动帮你:
- 下载对应模型(第一次会稍微久一点),显示即下载成功。
- 下载完后进入对话模式,你可以直接在命令行里和本地模型聊天
到这里,你的 “本地 ChatGPT” 已经跑起来了。
三、把本地模型当作 API 用:Ollama HTTP 调用示例
1. Ollama 默认的 API 地址
安装并启动 Ollama 后,一般会默认在本机开一个 HTTP 服务:
http://127.0.0.1:11434
我们调用的核心接口通常是:
POST /api/generatePOST /api/chat
2. 用 curl 发一个最小请求
先在终端试一下最小 demo(以 chat 接口为例):
curl.exe -X POST http://127.0.0.1:11434/api/chat ` -H "Content-Type: application/json" ` -d '{\"model\": \"deepseek-r1:1.5b\", \"messages\": [{\"role\": \"user\", \"content\": \"用三句话介绍一下你自己\"}]}'
如果一切正常,你会看到模型返回的 JSON,包括生成的内容。可以看到输出有点混乱,所以这种调用方式不常用。
3. Python 调用Ollama API 示例
下面是一个最简 Python 示例脚本,你可以放在自己项目里:
import requestsimport jsonOLLAMA_URL = "http://127.0.0.1:11434/api/chat"defchat_with_ollama(prompt, model="deepseek-r1:1.5b"): payload = { "model": model, "messages": [ {"role": "user", "content": prompt} ], "stream": False# 如果想要流式输出,可以改为 True } resp = requests.post(OLLAMA_URL, json=payload) resp.raise_for_status() data = resp.json() # Ollama 的 chat 返回里一般有 "message" 字段 return data.get("message", {}).get("content", "")if __name__ == "__main__": answer = chat_with_ollama("帮我写一段 50 字以内的大模型介绍") print(answer)
大模型能够理解、创作并处理文字、图像、视频等复杂信息,展现出强大的认知能力和广泛的应用场景,适用于人工智能领域中的多任务协同和数据驱动决策。
4. Ollama包调用方法(两者选其一)
! pip install ollama #下载ollama包
from ollama import Client# 关键步骤:创建Client时指定明确的hostclient = Client(host='http://127.0.0.1:11434') # 然后使用client进行对话response = client.chat( model='deepseek-r1:1.5b', messages=[ { 'role'…