前言
我们公司最近也开始搞 AI 落地了——下半年的技术规划里,AI 的接入和落地已经被正式列为重点方向。说真的,这股趋势谁也挡不住,现在不论是大厂小厂,几乎都在 “卷 AI”。不搞点 AI 相关的项目,都不好意思说自己还在做研发。
拿我们公司举个例子,开发流程已经 AI 化了不少:代码合并前要走一遍大模型审查,写代码也基本都离不开 DeepSeek 或 GPT 的辅助。遇到啥奇奇怪怪的问题,第一反应不是百度,而是 “问 AI 一下试试看”。
甚至连我朋友最近面试都开始被问:“你在工作中有用过 AI 吗?都用在哪些场景用到过?” 这种问题现在已经从加分项变成了基本门槛。
大模型风口下,AI 应该怎么“真正用起来”?
不过话说回来,光靠 AI 帮忙写点代码、找找 bug,那我们这样算不算 “真正用了 AI” 呢?
如果我们除了用它写业务代码、调接口、查报错之外,还能让它去「理解业务逻辑、解答内部问题,甚至代替客服处理咨询」,那不就更厉害了吗?
其实现在不少公司已经开始往这个方向走了,尤其是一些对安全要求高、资料量大的企业,都会选择把大模型「私有化部署」到内部系统里。 这样一来,既能用 AI 的能力,又能把数据掌握在自己手里,避免信息泄露的风险。
比如,有些公司内部有成千上万份技术文档、操作规范、历史方案,如果靠人培训一个新人,可能得好几周;但要是让 AI 来读懂这些内容,用户问一句 “某某功能的配置流程怎么写”,直接回答,效率不就上来了?
也有的企业客服要处理大量重复性问题,内容基本固定,但更新频率高,光靠人力维护 FAQ 成本太高。这时候用 AI 来做一个 “能看懂我们内部资料的客服”,就特别香。
那问题来了:
❝难不成我要自己整一个 DeepSeek?或者撸个自己的 MCP?
❞
说实话,要是真能自己做出个 DeepSeek,那我都不打工了,直接融资去就完咯! 至于 MCP,我最近在掘金天天看,但是我是真没实际落地成功过 主要是感觉总是接触了一点皮毛就。MVP 搞过但是意义不大。
那怎么办?我们公司也没给我这种平台,更不会给我几个月专门搞这个的时间。 那我总得自己搞点 AI 落地的 “经验” 出来吧? 不然以后面试又被问:“你工作中怎么用 AI 的?” 我堂堂十年开发,说一句 “我会让 GPT 写 SQL” 就完了?那不得被挂在白板上……
所以就算公司现在没这个需求,我们在摸鱼的时候也得自己先动手搞搞 多研究研究,不管能不能用上,起码咱玩过,以后也知道除了 ChatGPT 和 DeepSeek,还有 Ollama,还有 FastGPT,还有 dify 甚至咱还搭过一整套系统......
这不就不一样了吗? 以后聊起来也能自信的说:“俺们自己也搞过本地私有化部署,用过向量模型,搞过知识库问答系统。”
这逼格不就来了? 这算不算也是跟着 AI 大潮刷了一波存在感,谁说搞技术的不能主动点?
从小做起:先搭一个内部 AI 问答系统试试
既然没有公司级的平台,也没法腾出时间去研发一个完整的 MCP,那我们就从一个能落地的小项目开始,先做出个能跑、能用、能展示的东西再说。
我们的目标也不复杂:让 AI 能看懂我们自己的资料,还能回答我们团队的问题。最好满足以下几个条件:
- 支持本地部署,数据不出公司,安全合规;
- 能基于文档做语义检索,问一句就能理解我想找什么;
- 搭建成本不要太高,普通服务器或者一台本地机器能跑就行;
- 最好还能接入大语言模型,支持自然语言对话,体验接近聊天。
那我们就可以有两个非常合适的工具组合:
- 「Ollama」:可以在本地运行各种开源大模型,部署非常简单,一条命令就能跑;
- 「FastGPT」:一个开源问答系统,自带文档上传、向量检索、模型调用,前后端一体,界面也挺简洁好用。
用这套方案,我们可以来搭了一个内部 AI 问答系统:不用联网就能使用,还能接入我们自己的文档数据,实际效果比预期的要好很多。
啥是 Ollama ?
Ollama 这玩意儿最近在技术圈挺火的,有些大佬已经玩得飞起了,但也有不少人一脸问号:这是个啥?能吃吗?
一句话介绍它——「Ollama 是一个让我们在本地用一条命令就能跑大模型的神器。」
没听错,真的就一条命令:
ollama run qwen:7b
然后它就会帮我们搞定模型下载、加载、推理服务启动,甚至还顺手给我们开个本地 API 接口,方便我们接前端、搞对话系统、做插件什么的,简直是 “懒人福音”。
对比那些要手动拉 GGUF、编译 llama.cpp、调一堆推理参数的做法,Ollama 就像是我们开发路上的外卖小哥——我们来下单,它送达,模型直接热腾腾地跑起来。
重点是:「本地部署、离线运行、隐私数据全掌控,谁用谁知道。」
❝这里我就不展开详细介绍了,不了解的同学可以去官网看看:Ollama,或者直接去掘金搜 “Ollama” 相关的文章,有些大佬讲得非常细,适合入门 + 深挖。
❞
FastGPT 是什么?是不是 ChatGPT 的极速版?
说实话,在我第一次接触 FastGPT 之前,我对 FastGPT 的第一印象是:“这是不是 ChatGPT 的魔改版?还是啥极速套壳客户端?” 毕竟名字太容易让人联想到 ChatGPT,结果一看——完全不是那么回事。
「FastGPT 是一个开源的企业级 AI 知识库问答系统」,本质上是帮我们把 “ChatGPT 式的对话能力” 接入我们自己的数据和文档里。
它做了几件很实用的事:
- 自带前后端界面,部署完就能用,不需要我们再写页面;
- 内置向量检索 + 文档管理系统,上传 PDF、Word、txt 都能自动分段索引;
- 可以配置多个模型源,比如我们用 OpenAI 的 GPT-4,也可以接 Ollama 本地模型;
- 支持多轮对话、消息记录、上下文管理,还能做聊天机器人、API 对接;
- 甚至还能配置知识库同步、文件定时刷新,对接企业场景非常友好。
和它比较像的还有一个项目叫 「Dify」,很多人也在用。Dify 更偏向 “AI 应用开发平台”,提供工作流、角色设定、插件扩展等能力,适合做更复杂的 AI Copilot 系统。而 「FastGPT 就是那种 “我们只想搭个问答系统,那就直接给我们一个能跑的成品”」 ,上手更快、思路更聚焦。
对我这种想先搞个 Demo 的人来说,FastGPT 简直就是 “RAG(检索增强生成)场景的低门槛快车道”。
❝不过这里我也不展开细讲了,「想了解更多的可以去看看 FastGPT 的 GitHub(快速了解 FastGPT),或者去掘金搜一搜,有很多实战分享文章」。
❞
环境准备:安装 Ollama(以 Mac 为例)
在开始搭建之前,我们先把大模型运行平台——「Ollama」 安装好。
Ollama 支持 macOS、Windows 以及部分 Linux 发行版的本地运行,安装过程也非常简单。下面以 macOS 为例,提供几种常用的安装方式:
方式一:通过 Homebrew 安装(比较推荐)
如果我们本地已经安装了 Homebrew,可以直接执行以下命令即可完成安装:
brew install ollama
安装完成后,我们可以前往 Ollama 官网[3],点击右上角的 「“Models”」 页面,查看目前支持的开源大模型列表,比如 Qwen(千问)、LLaMA3、Mistral、Gemma 等。
每个模型下方都会列出对应的安装命令,直接复制粘贴到终端就能使用,非常方便。
在模型选择上,Ollama 支持的开源模型非常多,以我们这次用的 Qwen 系列为例,版本从轻量的 0.5b 到巨型的 72b、110b,甚至还有一个 “看起来就不适合打工人” 的 235b。不同版本在体积、性能、响应速度上的差异非常明显。
完整的模型列表可以在 Ollama 官网的 Qwen3 模型页面[4] 查看,像下面这样:
我们这次选择的是:
ollama run qwen3:1.7b
原因也比较简单:
- 「模型够轻量,只有 1.4GB,下载和加载速度都很快;」
- 「上下文窗口 40K,不管是问答还是处理长文档都足够用了;」
- 「本地 MacBook 就能顺畅跑,不需要额外配置 GPU 环境;」
- 「响应速度快,结合 FastGPT 做问答体验非常流畅。」
如果我们只是想先验证功能或者做原型测试,不建议一上来就用 14b、30b、235b 这些大家伙,光模型体积就几十个 G,部署和运行门槛也更高。而 1.7b 就是个比较理想的 “起步选手”,「体验好、资源占用低、开发友好。」
不过如果我们想让 AI 不只是 “能说会道”,还要 “读得懂自己的文档”,那光有一个主模型还不够。我们还需要再加一个模型,专门用来做文档的向量化处理——也就是所谓的嵌入模型。
简单来说,它的作用就是:把我们上传的 PDF、Word、Markdown 这些文档切成一段一段的,然后转换成 “向量”(也就是一堆模型能理解的数字),这样后续在问问题时,系统就能用语义相似度匹配到我们说的那段内容。
我这次用的是:
ollama run nomic-embed-text
这是一个比较常见的开源嵌入模型,支持中英文混合,速度快、资源占用小,社区使用率也比较高。FastGPT 默认也推荐使用它来做文档向量化,接起来基本零障碍。
一句话总结它的作用就是:「不负责说话,专门负责 “读资料” 并建索引。」
完整的嵌入模型列表可以在 Ollama 官网的nomic-embed-text模型页面查看,其中会列出模型简介、用途说明以及对应的运行命令,像这样:
两者配合,才构成了一个完整的 “知识库问答系统”。
方式二:从官网下载安装包
如果我们不使用 Homebrew,也可以直接前往 Ollama 官方网站下载安装程序:
Ollama
官网会自动识别我们的操作系统并提供对应版本的安装包。安装完成后,同样可以通过终端运行上面的命令进行测试。
方式三:使用 Docker 安装(适合服务器或容器环境)
如果我们希望将 Ollama 跑在服务器上,或者已经习惯用 Docker 来部署服务,也可以通过官方提供的 Docker 镜像进行安装:
docker run -d -p 11434:11434 ollama/ollama
然后我们就可以像本地一样使用:
curl http://localhost:11434/api/tags
或者通过 FastGPT 这样的系统接入 Ollama 的本地推理服务。
❝注意:如果我们希望在 Docker 里使用模型,比如
qwen3:1.7b或nomic-embed-text,可以先进入容器内部执行ollama run xxx,模型数据会保存在容器中,也可以用挂载方式做持久化。❞
无论哪种方式,只要我们能成功运行 ollama run xxx 并看到模型加载输出日志,就说明 Ollama 环境已准备就绪,接下来就可以接入我们的问答系统了。
快速启动 Ollama 并加载模型(以 qwen3:1.7b 为例)
下面我们通过几步就可以跑通 Ollama,并进入大模型对话模式。
步骤 1:运行命令
在终端中执行以下命令:
ollama run qwen3:1.7b
第一次运行时会自动做几件事:
- 从 Ollama 官方仓库拉取
qwen3:1.7b模型文件(约 1.4GB) - 下载完成后自动加载模型并进入对话模式
步骤 2:开始对话
当我们看到终端输出中出现类似:
>>>
就表示模型已经启动成功,现在我们可以直接和它对话,比如输入:
>>> 你好,帮我解释一下什么是面向对象?
模型会在 1~2 秒内返回结果,默认是中文交流,体验跟 ChatGPT 非常类似。