1G内存检索2500万向量,Milvus中如何用FLAT在强标量过滤场景搞定毫秒响应?

前几天在 Milvus 社区,一位做以图搜图的朋友提了一个问题:
“我们要对2500 万张图片(转为1280 维向量)做以图搜图,单机支撑亿级数据的查询。但内存配置只有64GB,其中能分给向量数据库的最多32GB。但我用 Sizing Tool 算了一下,说要 139GB 内存,是不是没戏了?"
用HNSW之类看起来很高效的索引来看,这的确跑不通,但我们换个思路,试试最基础的FLAT 呢?
实践下来,借助FLAT ,不到 1GB 内存,查询延迟稳定在 100 毫秒以内,就能搞定2500 万向量的高效检索。
以下是我们的实践经验复盘。

01

走过的弯路

在最终确定FLAT 之前,这个朋友先做了两轮其他索引的选型摸索:
第一次:AISAQ 索引。这是一种新的磁盘索引,理论上内存占用很低。但索引构建需要写入大量临时文件。之前测试过 5500万向量,load 一次集合,磁盘写入量达到 249GB,并且加载速度也非常慢,既费盘又费时间。
第二次:IVF_FLAT 索引。创建完索引后 load 集合,进度到 14% 就 一直挂着,最终失败。
两次碰壁后,他决定干脆用最基础的 FLAT 索引试试,没想到直接跑通了。
最后实际内存只用了不到 1GB,容器常驻内存也就 600MB 左右。启动峰值内存冲到 12.5GB,稳定后完全可控,查询首访约 30 秒,后续延迟稳稳控制在 100 毫秒内。

02 

为什么 FLAT 能扛住 2500 万向量

FLAT 是 Milvus 里最基础的索引类型——不建树、不建图、不聚类,查询时在原始向量上做暴力遍历。
按常理,2500 万条暴力搜索,内存和延迟都不可能达标。但milvus的三层优化叠加在一起,让它成了最优解。

优化一:FP16 ,向量体积直接减半

存储时把向量精度从 FP32 降到 FP16:
单条向量:1280 维 × 4 字节 = 5120 字节 → 1280 维 × 2 字节 = 2560 字节
2500 万条总量:约 120GB → 约 60GB
F…
— 以上为试看内容(约 40%),开通会员后阅读全文 —