Harness 与 Agent 工程 · AI研发与测试工程 · 2025-12-04

大模型“落地三件套”:Ollama本地部署、API 调用和LLM封装

本地部署大模型,打造专属AI工作流,Ollama助你轻松实现隐私、可控与定制化需求。

核心内容:

  1. Ollama本地部署的优势与安装指南
  2. 通过API将本地模型接入业务的具体方法
  3. LLM封装实现开发工具无缝集成AI功能

这两年大模型卷得飞起:ChatGPT、通义千问、文心一言层出不穷。对普通用户来说,在网页上聊两句就够了;但对开发者 / 研究者 / 数据分析党来说,真正有用的是三件事:

这篇推文,就带你用 Ollama + 本地/云端 API + + LLM封装打通这条链路,做一套「自己的 AI 工作流」。

一、本地部署:为什么越来越多人选择 Ollama?

很多人第一反应: “我直接用在线大模型不香吗?为什么还要折腾本地部署?” 本地部署有几大优势:

    1. 隐私&安全:代码、数据不出本机,对企业 / 研究来说很关键
    1. 可控成本:不用担心 API token 一不小心跑爆预算
    1. 可定制:可以下载特定领域模型(代码、金融、法律等),甚至做 LoRA 微调
    1. 离线可用:断网的时候,它还在 而在一众本地部署方案里,Ollama 的优点是:

1. 安装 Ollama

🔍 可以去官网搜索 “Ollama”,根据系统下载对应安装包,直接默认路径下载即可。https://ollama.com/download

安装完成后,命令行终端里可以输入ollama看到帮助信息。输入ollama -v查看安装版本。

安装好后,打开https://ollama.com/library随便找一个模型下载,例如DeepSeek-r1。

打开Ollama,第一种是直接打开下载好的APP。安装后,Ollama 的图标会显示在桌面右下角的系统托盘区域。也可以直接在这里面对话。

第二种是终端启动。打开终端,试试直接跑一个模型。例如:

ollama serve #启动(如果APP启动了本命令忽略)ollama run deepseek-r1:1.5b #下载模型到本地,后面可替换为其它模型

终端会自动帮你:

  1. 下载对应模型(第一次会稍微久一点),显示即下载成功。
  2. 下载完后进入对话模式,你可以直接在命令行里和本地模型聊天

到这里,你的 “本地 ChatGPT” 已经跑起来了。

三、把本地模型当作 API 用:Ollama HTTP 调用示例

1. Ollama 默认的 API 地址

安装并启动 Ollama 后,一般会默认在本机开一个 HTTP 服务:

http://127.0.0.1:11434

我们调用的核心接口通常是:

POST /api/generatePOST /api/chat

2. 用 curl 发一个最小请求

先在终端试一下最小 demo(以 chat 接口为例):

curl.exe -X POST http://127.0.0.1:11434/api/chat ` -H "Content-Type: application/json" ` -d '{\"model\": \"deepseek-r1:1.5b\", \"messages\": [{\"role\": \"user\", \"content\": \"用三句话介绍一下你自己\"}]}'

如果一切正常,你会看到模型返回的 JSON,包括生成的内容。可以看到输出有点混乱,所以这种调用方式不常用。

3. Python 调用Ollama API 示例

下面是一个最简 Python 示例脚本,你可以放在自己项目里:

import requestsimport jsonOLLAMA_URL = "http://127.0.0.1:11434/api/chat"defchat_with_ollama(prompt, model="deepseek-r1:1.5b"): payload = { "model": model, "messages": [ {"role": "user", "content": prompt} ], "stream": False# 如果想要流式输出,可以改为 True } resp = requests.post(OLLAMA_URL, json=payload) resp.raise_for_status() data = resp.json() # Ollama 的 chat 返回里一般有 "message" 字段 return data.get("message", {}).get("content", "")if __name__ == "__main__": answer = chat_with_ollama("帮我写一段 50 字以内的大模型介绍") print(answer)
大模型能够理解、创作并处理文字、图像、视频等复杂信息,展现出强大的认知能力和广泛的应用场景,适用于人工智能领域中的多任务协同和数据驱动决策。

4. Ollama包调用方法(两者选其一)

! pip install ollama #下载ollama包
from ollama import Client# 关键步骤:创建Client时指定明确的hostclient = Client(host='http://127.0.0.1:11434') # 然后使用client进行对话response = client.chat( model='deepseek-r1:1.5b', messages=[ { 'role'…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/LargeLanguageModel/2025120428139.html