打造你的企业级智能文档问答系统——Everything plus RAG 实战指南
从零开始,用开源技术搭建一个能"读懂"文档的智能问答系统
大家好,我是铭毅天下。今天给大家分享一个非常实用的项目——Everything plus RAG 智能文档问答系统。
相信大家的电脑上都安装了 Everything,一个磁盘文件快速查找桌面级应用软件。
一直以来,我都有个想法,能否做一个 plus 版本,支持文档的全文检索和智能问答?!这个想法萌芽已久,且和同事、朋友做过多次讨论。
近期,终于腾出空来,把它实现了。
直接上效果视频。
这个系统解决了我们工作中一个常见的痛点——如何从海量文档中快速找到最准确答案?
一、为什么需要这样一个系统?
先说说我遇到的问题。作为技术人,手头总有大量的文档:
技术文档、API 手册堆积如山 项目笔记、会议记录散落各处 代码文件、配置文件数不胜数
传统的解决方案有两种:
方案一:全文搜索(如 Elasticsearch、国产化Easysearch 等)
优点:速度快,能精确匹配关键词
缺点:不理解语义,搜"如何启动"找不到"怎么运行"
方案二:直接问 ChatGPT、Claude、DeepSeek、豆包等 AI 工具
优点:理解能力强,回答自然
缺点:容易"胡说八道",给出的答案可能根本不在你的文档里
那么,能不能结合两者的优点,既快速检索又智能理解,还能保证答案可靠呢?
答案是:
可以!
这就是我今天要分享的 RAG(检索增强生成) 技术。
RAG 不是新技术,咱们之前的文章有过多次分享,详见如下:
基于 Qwen2.5-14B + Elasticsearch RAG 的大数据知识库智能问答系统
【视频】基于大模型 与 Elasticsearch 的知识库智能问答 RAG 系统
漫画 Elasticsearch RAG
大白话解读什么是 RAG(检索增强生成)技术?
【视频】有道云笔记增强 RAG 检索 + 智能 AI 助手实战
建议先看完再看后续的内容会更好理解。
二、什么是 RAG?一个形象的比喻
把 RAG 想象成一场"开卷考试":
传统 AI(闭卷考试)
学生(AI): 凭记忆答题
问题: 可能记错、编造答案
RAG(开卷考试)
学生(AI): 先翻书找相关内容,再基于书本回答
优势: 答案有据可查,准确可靠
RAG 的核心流程只有三步:
检索(Retrieval): 从文档库找相关内容 增强(Augmented): 把找到的内容提供给 AI 生成(Generation): AI 基于这些内容生成答案
简单吧!但要做好,还有很多技术细节。
三、系统架构:三层设计,清晰明了
Everything plus 采用经典的三层架构:
技术栈选型原则:全部开源,零成本部署
后端: Python + Flask(轻量级) 检索引擎: Elasticsearch 9.x / Easysearch 2.0.0+(支持向量检索) 向量模型: Sentence-Transformers(开源) LLM: DeepSeek/Ollama(国产/本地) 数据库: MySQL(用户管理)
四、核心技术解密:混合检索是关键
4.1 为什么需要"混合检索"?
单纯用关键词检索或向量检索都有局限:
| BM25关键词 | |||
| 向量语义 |
解决方案:混合检索 = BM25 + 向量检索
举个例子:
问题: "如何配置数据库连接?"
BM25 检索结果:
- 文档A: "配置数据库连接的方法..." (精确匹配)
- 文档B: "database connection config" (英文匹配)
向量检索结果:
- 文档C: "设置 MySQL 链接参数..." (语义相似)
- 文档D: "数据库初始化步骤..." (相关内容)
融合后: A(最相关) > C > B > D
4.2 RRF 融合算法:简单但有效
两种检索结果如何合并?这里用到 RRF(倒数排名融合) 算法:
# 核心公式
RRF_score = 1/(k + rank1) + 1/(k + rank2)
# 例子
文档A: rank1=1, rank2=3
score = 1/(60+1) + 1/(60+3) = 0.0164 + 0.0159 = 0.0323
文档B: rank1=5, rank2=1
score = 1/(60+5) + 1/(60+1) = 0.0154 + 0.0164 = 0.0318
关键思想:同时出现在两个结果列表中的文档,得分会更高
4.3 查询重写:一个问题变三个
用户的问题往往很简短,直接检索效果不好。系统会自动生成多个查询变体:
原始查询: "系统怎么用"
自动重写为:
1. "系统怎么用 详细说明"
2. "什么是 系统怎么用"
3. "系统怎么用 步骤"
# 每个变体都去检索,结果再融合
# 这样可以找到更多相关文档
4.4 提示词工程:让 AI 不胡说
RAG 的关键是让 AI 只基于检索到的内容回答:
prompt = f"""
你是一个文档问答助手。请严格基于以下上下文回答问题:
【上下文】
[块1] {doc1_content}
[块2] {doc2_content}
[块3] {doc3_content}
【规则】
1. 只能使用上述上下文中的信息
2. 如果上下文中没有答案,明确说"文档中未找到相关信息"
3. 引用时注明来源,如"根据[块1]..."
【问题】{user_question}
【回答】
"""
这样设计的提示词,能有效防止 AI "胡编乱造"。
五、特色功能:类 Everything 的磁盘扫描
这是系统的一大亮点!你可以…