0. 你为什么需要向量数据库?
传统关键词/全文检索(TF-IDF、BM25)解决的是“字面匹配”,而用户提问往往是“语义变体”(同义改写、口语化、错别字、跨领域表达)。向量数据库把文本映射到高维语义空间,通过 ANN(近似最近邻)在毫秒级完成“语义相似”检索,是现代智能客服(FAQ、文档问答、知识助手)的基础设施。
一句话:Embedding × 向量索引 = 可检性 × 速度。Embedding 决定“能搜到什么”,索引决定“多快搜到”。
1. 体系架构(一眼看懂)
用户 → 预处理(清洗/纠错/敏感词) → 向量化(Embedding) → [A] 向量检索(ANN) → [B] 关键词/BM25 补充检索 (可选) → 候选合并去重 → 重排序(Rerank) → 置信度判定 → 高置信:直答/引用 中置信:追问澄清 低置信:转人工/兜底 → 反馈闭环(用户评价/人工标注/日志回流)
三条主线:
- 召回(A+B):向量为主,BM25 为辅;
- 排序:小模型重排或 LLM 重排,提升前 1–3 条的相关性;
- 决策:基于阈值与策略(直答/追问/转人工),并统一做安全与越权拦截。
2. 数据建模(通用表设计)
选任一支持向量类型的数据库即可(如 PostgreSQL+pgvector、OceanBase 向量列、Milvus+MySQL 等)。以下用“向量列 + BM25”做示例。
知识主表(FAQ/文档切片)
-- 以 PostgreSQL 为例,pgvector: vector(768)CREATETABLE faq_chunk ( id UUID PRIMARY KEY, project_id BIGINTNOTNULL, -- 多租户/多业务隔离的强过滤维度 title TEXT, -- 主题或问题标题 content TEXT NOTNULL, -- 片段内容(200~500 中文字符为宜) source TEXT, -- 来源文档/URL/系统 chunk_id TEXT, -- 文档内片段编号 updated_at TIMESTAMPTZ DEFAULT now(), embedding vector(768) -- 统一维度与归一化策略);-- 全文检索(BM25)索引CREATE INDEX idx_faq_chunk_fts ON faq_chunk USING gin (to_tsvector('simple', content));-- 项目过滤索引CREATE INDEX idx_faq_project ON faq_chunk (project_id);-- 向量索引(IVFFlat/HNSW 二选一)CREATE INDEX idx_faq_vec ON faq_chunk USING ivfflat (embedding vector_cosine_ops) WITH (lists =100);
为何要有 project_id?99% 的性能问题来自“没做前置过滤”。先按项目过滤再做向量检索,延迟可从百毫秒级降到几十毫秒。
Chunking 规则:200–500 字一片,段尾保留“标题→正文→小结”的层级上下文,召回质量更稳。去重相似度阈值建议 0.98。
3. 检索与融合(核心环节)
1)向量 TopK(主召回)
SELECT id, title, content, 1 - (embedding <=> :q_vec) AS sim -- cosine 相似度(0~1 越大越像)FROM faq_chunkWHERE project_id = :pidORDER BY embedding <-> :q_vec -- 以向量距离排序LIMIT 50;
注意统一“相似度”的语义,别前面用 distance、后面又 1-distance。统一使用 sim ∈ [0,1],阈值更直观。
2)BM25 补充(召…
— 以上为试看内容(约 40%),开通会员后阅读全文 —