Harness 与 Agent 工程 · Agent架构与协作 · 2025-10-31

有人问我会不会用 AI,我直接拿出这个 Ollama + FastGPT 项目给他看

AI浪潮席卷而来,掌握私有化部署才是真本事!

核心内容:

  1. 企业AI落地的现状与挑战
  2. 私有化部署AI的实际应用场景
  3. 个人如何快速搭建本地AI系统积累经验

前言

我们公司最近也开始搞 AI 落地了——下半年的技术规划里,AI 的接入和落地已经被正式列为重点方向。说真的,这股趋势谁也挡不住,现在不论是大厂小厂,几乎都在 “卷 AI”。不搞点 AI 相关的项目,都不好意思说自己还在做研发。

拿我们公司举个例子,开发流程已经 AI 化了不少:代码合并前要走一遍大模型审查,写代码也基本都离不开 DeepSeek 或 GPT 的辅助。遇到啥奇奇怪怪的问题,第一反应不是百度,而是 “问 AI 一下试试看”。

甚至连我朋友最近面试都开始被问:“你在工作中有用过 AI 吗?都用在哪些场景用到过?” 这种问题现在已经从加分项变成了基本门槛。

大模型风口下,AI 应该怎么“真正用起来”?

不过话说回来,光靠 AI 帮忙写点代码、找找 bug,那我们这样算不算 “真正用了 AI” 呢?

如果我们除了用它写业务代码、调接口、查报错之外,还能让它去「理解业务逻辑、解答内部问题,甚至代替客服处理咨询」,那不就更厉害了吗?

其实现在不少公司已经开始往这个方向走了,尤其是一些对安全要求高、资料量大的企业,都会选择把大模型「私有化部署」到内部系统里。 这样一来,既能用 AI 的能力,又能把数据掌握在自己手里,避免信息泄露的风险。

比如,有些公司内部有成千上万份技术文档、操作规范、历史方案,如果靠人培训一个新人,可能得好几周;但要是让 AI 来读懂这些内容,用户问一句 “某某功能的配置流程怎么写”,直接回答,效率不就上来了?

也有的企业客服要处理大量重复性问题,内容基本固定,但更新频率高,光靠人力维护 FAQ 成本太高。这时候用 AI 来做一个 “能看懂我们内部资料的客服”,就特别香。

那问题来了:

❝难不成我要自己整一个 DeepSeek?或者撸个自己的 MCP?

❞

说实话,要是真能自己做出个 DeepSeek,那我都不打工了,直接融资去就完咯! 至于 MCP,我最近在掘金天天看,但是我是真没实际落地成功过 主要是感觉总是接触了一点皮毛就。MVP 搞过但是意义不大。

那怎么办?我们公司也没给我这种平台,更不会给我几个月专门搞这个的时间。 那我总得自己搞点 AI 落地的 “经验” 出来吧? 不然以后面试又被问:“你工作中怎么用 AI 的?” 我堂堂十年开发,说一句 “我会让 GPT 写 SQL” 就完了?那不得被挂在白板上……

所以就算公司现在没这个需求,我们在摸鱼的时候也得自己先动手搞搞 多研究研究,不管能不能用上,起码咱玩过,以后也知道除了 ChatGPT 和 DeepSeek,还有 Ollama,还有 FastGPT,还有 dify 甚至咱还搭过一整套系统......

这不就不一样了吗? 以后聊起来也能自信的说:“俺们自己也搞过本地私有化部署,用过向量模型,搞过知识库问答系统。”

这逼格不就来了? 这算不算也是跟着 AI 大潮刷了一波存在感,谁说搞技术的不能主动点?

从小做起:先搭一个内部 AI 问答系统试试

既然没有公司级的平台,也没法腾出时间去研发一个完整的 MCP,那我们就从一个能落地的小项目开始,先做出个能跑、能用、能展示的东西再说。

我们的目标也不复杂:让 AI 能看懂我们自己的资料,还能回答我们团队的问题。最好满足以下几个条件:

那我们就可以有两个非常合适的工具组合:

用这套方案,我们可以来搭了一个内部 AI 问答系统:不用联网就能使用,还能接入我们自己的文档数据,实际效果比预期的要好很多。

啥是 Ollama ?

Ollama 这玩意儿最近在技术圈挺火的,有些大佬已经玩得飞起了,但也有不少人一脸问号:这是个啥?能吃吗?

一句话介绍它——「Ollama 是一个让我们在本地用一条命令就能跑大模型的神器。」

没听错,真的就一条命令:

ollama run qwen:7b

然后它就会帮我们搞定模型下载、加载、推理服务启动,甚至还顺手给我们开个本地 API 接口,方便我们接前端、搞对话系统、做插件什么的,简直是 “懒人福音”。

对比那些要手动拉 GGUF、编译 llama.cpp、调一堆推理参数的做法,Ollama 就像是我们开发路上的外卖小哥——我们来下单,它送达,模型直接热腾腾地跑起来。

重点是:「本地部署、离线运行、隐私数据全掌控,谁用谁知道。」

❝这里我就不展开详细介绍了,不了解的同学可以去官网看看:Ollama,或者直接去掘金搜 “Ollama” 相关的文章,有些大佬讲得非常细,适合入门 + 深挖。

❞

FastGPT 是什么?是不是 ChatGPT 的极速版?

说实话,在我第一次接触 FastGPT 之前,我对 FastGPT 的第一印象是:“这是不是 ChatGPT 的魔改版?还是啥极速套壳客户端?” 毕竟名字太容易让人联想到 ChatGPT,结果一看——完全不是那么回事。

「FastGPT 是一个开源的企业级 AI 知识库问答系统」,本质上是帮我们把 “ChatGPT 式的对话能力” 接入我们自己的数据和文档里。

它做了几件很实用的事:

和它比较像的还有一个项目叫 「Dify」,很多人也在用。Dify 更偏向 “AI 应用开发平台”,提供工作流、角色设定、插件扩展等能力,适合做更复杂的 AI Copilot 系统。而 「FastGPT 就是那种 “我们只想搭个问答系统,那就直接给我们一个能跑的成品”」 ,上手更快、思路更聚焦。

对我这种想先搞个 Demo 的人来说,FastGPT 简直就是 “RAG(检索增强生成)场景的低门槛快车道”。

❝不过这里我也不展开细讲了,「想了解更多的可以去看看 FastGPT 的 GitHub(快速了解 FastGPT),或者去掘金搜一搜,有很多实战分享文章」。

❞

环境准备:安装 Ollama(以 Mac 为例)

在开始搭建之前,我们先把大模型运行平台——「Ollama」 安装好。

Ollama 支持 macOS、Windows 以及部分 Linux 发行版的本地运行,安装过程也非常简单。下面以 macOS 为例,提供几种常用的安装方式:

方式一:通过 Homebrew 安装(比较推荐)

如果我们本地已经安装了 Homebrew,可以直接执行以下命令即可完成安装:

brew install ollama

安装完成后,我们可以前往 Ollama 官网[3],点击右上角的 「“Models”」 页面,查看目前支持的开源大模型列表,比如 Qwen(千问)、LLaMA3、Mistral、Gemma 等。

每个模型下方都会列出对应的安装命令,直接复制粘贴到终端就能使用,非常方便。

在模型选择上,Ollama 支持的开源模型非常多,以我们这次用的 Qwen 系列为例,版本从轻量的 0.5b 到巨型的 72b、110b,甚至还有一个 “看起来就不适合打工人” 的 235b。不同版本在体积、性能、响应速度上的差异非常明显。

完整的模型列表可以在 Ollama 官网的 Qwen3 模型页面[4] 查看,像下面这样:

我们这次选择的是:

ollama run qwen3:1.7b

原因也比较简单:

如果我们只是想先验证功能或者做原型测试,不建议一上来就用 14b、30b、235b 这些大家伙,光模型体积就几十个 G,部署和运行门槛也更高。而 1.7b 就是个比较理想的 “起步选手”,「体验好、资源占用低、开发友好。」

不过如果我们想让 AI 不只是 “能说会道”,还要 “读得懂自己的文档”,那光有一个主模型还不够。我们还需要再加一个模型,专门用来做文档的向量化处理——也就是所谓的嵌入模型。

简单来说,它的作用就是:把我们上传的 PDF、Word、Markdown 这些文档切成一段一段的,然后转换成 “向量”(也就是一堆模型能理解的数字),这样后续在问问题时,系统就能用语义相似度匹配到我们说的那段内容。

我这次用的是:

ollama run nomic-embed-text

这是一个比较常见的开源嵌入模型,支持中英文混合,速度快、资源占用小,社区使用率也比较高。FastGPT 默认也推荐使用它来做文档向量化,接起来基本零障碍。

一句话总结它的作用就是:「不负责说话,专门负责 “读资料” 并建索引。」

完整的嵌入模型列表可以在 Ollama 官网的nomic-embed-text模型页面查看,其中会列出模型简介、用途说明以及对应的运行命令,像这样:

两者配合,才构成了一个完整的 “知识库问答系统”。

方式二:从官网下载安装包

如果我们不使用 Homebrew,也可以直接前往 Ollama 官方网站下载安装程序:

Ollama

官网会自动识别我们的操作系统并提供对应版本的安装包。安装完成后,同样可以通过终端运行上面的命令进行测试。

方式三:使用 Docker 安装(适合服务器或容器环境)

如果我们希望将 Ollama 跑在服务器上,或者已经习惯用 Docker 来部署服务,也可以通过官方提供的 Docker 镜像进行安装:

docker run -d -p 11434:11434 ollama/ollama

然后我们就可以像本地一样使用:

curl http://localhost:11434/api/tags

或者通过 FastGPT 这样的系统接入 Ollama 的本地推理服务。

❝注意:如果我们希望在 Docker 里使用模型,比如 qwen3:1.7b 或 nomic-embed-text,可以先进入容器内部执行 ollama run xxx,模型数据会保存在容器中,也可以用挂载方式做持久化。

❞

无论哪种方式,只要我们能成功运行 ollama run xxx 并看到模型加载输出日志,就说明 Ollama 环境已准备就绪,接下来就可以接入我们的问答系统了。

快速启动 Ollama 并加载模型(以 qwen3:1.7b 为例)

下面我们通过几步就可以跑通 Ollama,并进入大模型对话模式。

步骤 1:运行命令

在终端中执行以下命令:

ollama run qwen3:1.7b

第一次运行时会自动做几件事:

步骤 2:开始对话

当我们看到终端输出中出现类似:

>>>

就表示模型已经启动成功,现在我们可以直接和它对话,比如输入:

>>> 你好,帮我解释一下什么是面向对象?

模型会在 1~2 秒内返回结果,默认是中文交流,体验跟 ChatGPT 非常类似。

步骤 3:退出对话(可选…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/OpenSourceLLM/2025103173281.html