月活11亿的Reddit ,怎么选向量数据库:Pgvector、Redis、Milvus、Qdrant

业务团队可能说他们想要个负重一吨,时速两百公里的马车……


现如今,借助向量检索能力,实现基于语义相似度的智能搜索,已经是所有电商、推荐、社区平台技术架构的重要一环。

作为拥有约 1.08 亿日活、 11 亿月活用户的兴趣内容社区平台, Reddit自然也不例外。

自2024 年起,Reddit 各个团队就已经开始用不少方案来做近似最近邻(ANN)向量搜索。这个过程中,有用过谷歌的 Vertex AI 向量搜索, 也试过用Apache Solr 的 ANN 向量搜索处理一些大数据集,还有在垂直扩展的边缘节点里部署 Facebook 的 FAISS 库,专门应对小数据集。

但是,随着越来越多团队和业务对向量检索的需求持续增加,建立统一的向量数据库infra底座就随之被提上了日程。

整体来说, Reddit的整个向量数据库选型分四步走:收集团队需求背景、定性评估候选方案、定量测试头部选手、敲定最终答案。这里面,每一环都有不同的坑,以下复盘可以供所有人参考。

当然,文章不是要评判哪款向量数据库天下第一,测试也不会符合所有场景的需求。以下仅代表 Reddit的业务选型逻辑以及优先级排序。

01 

收集团队需求

最一开始, Reddit对想用ANN 向量搜索的团队,收集了三方面关键信息:

  • 功能需求(比如:能不能同时做向量和关键词搜索?支持标签检索吗?能不能按非向量属性过滤?)

  • 非功能需求(比如:能不能存 10 亿级向量?P99 延迟能不能控制在 100 毫秒以内?)

  • 团队已经在用或者感兴趣的向量数据库

跟团队聊清楚需求其实不简单。

很多团队会照着自己现在的解决办法说需求,然后成功把所有人带偏。

举个例子,有个团队本来在用 FAISS 做 ANN 向量搜索,基于这个背景,他们说新方案必须每次搜索能高效返回 1 万条结果。

一万条?用户难道要没日没夜24小时都住在 Reddit看帖子吗?

进一步追问才知道,之所以要 1 万条,是因为 FAISS 不支持语义检索的同时做过滤,然后他们只能先拿大量语义召回结果,做事后筛选,来保证召回率。

所以,团队的真实需求根本不是一万条数据,而是高效过滤方案。而且,要是能先过滤,再做语义检索,其实也能节省下大量的语义检索成本。

梳理清楚需求之后,接下来盘点大家都在用什么产品也很重要:一般有一个团队觉得某款方案好用,那这款就有可能在全公司推广;如果大家都吐槽某款,那直接 pass 就行。

02 

定性评估候选方案

以团队关注的方案为基础,我们按这三步定性评估,找出最贴合需求的:

  1. 研究每个方案,对照需求的权重打分,看方案能满足多少需求

  2. 按定性标准和讨论结果,删掉一些不合适的方案

  3. 选出前几名,进入定量测试阶段

我们一开始的候选清单有这些:

  • 纯向量检索产品:Milvus、Qdrant、Weaviate、OpenSearch、Vespa、Pinecone

  • 带有向量检索能力的其他数据库:Pgvector(本来就用 PostgreSQL 当关系型数据库)、Redis(本来就用它做键值存储和缓存)Cassandra(已用于非 ANN 搜索)Solr(本来用它做词法搜索,之前试过用它做向量搜索)、Vertex AI(已经在用来做 ANN 向量搜索)

接下来,我们把所有团队提的功能、非功能需求,再加上一些符合我们工程价值观和目标的约束条件,都列成表格行,给每项需求定个权重(1-3 分)。

然后给每个候选方案打分,按 0-3 分评它满足每项需求的程度(如下表)。打分虽然有点主观,但我们选了一个基准方案,给出打分例子和理由,让评估的人都照着参考。

以下是打分规则:

  • 0 分:不支持,也没证据表明能支持

  • 1 分:勉强支持,或者支持得不够好

  • 2 分:支持得还不错,能满足基本需求

  • 3 分:支持得特别好,比同类方案都强

不过,要注意有些能力的选项权重的重要性可能已经超过了0-3分的范畴,而是一个选型的硬约束。比如对Reddit来说,这个硬约束就是是否开源。

因为,向量数据库是一个还相对比较新的事物,需要项目方和客户一同打磨,一同进步,开源让客户自身也能深度参与、贡献代码的方案,这样一旦遇到问题,也自主快速修复。也是因为这个原因,Vertex AI、Pinecone这两个选项在一开始被Reddit排除在外。

综合以上条件,以下是具体打分结果

最后,每个方案的总分会用方案在某项需求的得分乘以这项需求的权重,再加起来(比如 Qdrant 在 “重排序 / 分数合并” 这一项得 3 分,权重是 2,那这项就是 6 分,所有项都这么算再求和)。

注意:这个总分是用来为下一步筛选提供候选集…

— 以上为试看内容(约 40%),开通会员后阅读全文 —