万字深度|做了8年向量数据库后,我们决定为Milvus重构AI时代的存储引擎

过去八九年,我们一直在做一件事:把向量数据库从一个很小众的系统方向,做成 AI 基础设施里的关键组件。
这中间我们听过很多建议,也得到了很多成长。
当然,也有很多人试图劝我们立刻原地倒闭,比如:传统数据库不是已经能存int、string、json了吗?现在不过多了一种 vector 字段。传统数据库加一个向量类型,再配一个ANN索引,你们就要完蛋了!
的确,很多传统数据库也是这么做的:加一列 vector,接一个索引,demo 能跑,也有很多企业,在语义检索初期,会选择这样的产品。
但跑到一定规模以后,就一定会发现传统数据库+补丁的方式,根本无法解决AI时代的新问题。向量不只是一种新的字段类型,更是一种新的数据形态。
比如,单从存储模型设计来看:
  • 它有表结构,有 row,有主键,所以像数据库。
  • 它规模巨大,要被 Spark、Ray、DuckDB、训练 pipeline 和评估系统反复读取和改写,所以像数据湖。
  • 它的原始对象往往是视频、图片、PDF、音频,继续留在 S3、GCS、OSS 里,所以也像对象存储。
但它还多了一层传统系统没有处理好的东西:embedding、sparse vector、caption、vector index、text index、delete log、stats、外部对象引用,以及这些对象之间不断变化的版本关系。
更不用提,当一份 AI 数据集持续演进、被多个系统共同读写、同时服务在线检索和离线分析时,旧的存储模型还能不能承担作为数据事实来源的责任。
因此,沿用传统数据库、数据湖、对象存储的任何一种传统管理方式,最后都会半路失灵。
接下来,本文将重点讲解传统存储模型在AI时代面临的三个典型问题:写放大、读路径冲突、多引擎协作。
以及解决为了解决这些问题,我们是如何推出Loon存储引擎,用混合文件格式、row id 对齐和 Manifest 重新组织数据,解决海量向量数据的高效存储的。

01 

AI时代的生产场景是怎么使用数据的

我们最近和一个多模态训练数据团队聊过他们的工作流,大概是这样的:
video→ clips→ metadata→ aesthetic_score→ caption→ embedding→ search / dedup / training data filtering
一段长视频先上传到对象存储。pipeline 按“换镜头”“换场景”把它切成约 10 秒的片段,去掉过长、过短或者质量太低的片段。剩下的片段会跑美学打分,再让 caption 模型生成文本描述。最后给每个片段算一份 embedding,写进向量库,用来做去重、检索和训练数据筛选。
这个过程中,真正的麻烦其实体现在时间维度上。
  • 第一周:只跑了切帧和元数据,表里大致是 clip_id / video_id / start_offset / duration 这几列。
  • 第二周:加上美学打分,每个片段补一列 aesthetic_score。
  • 第三周:caption 模型跑通,每个片段补一列 caption,平均 200 字。
  • 第四周:第一版 embedding 上线,每个片段补一列 768 维 CLIP 向量。
  • 一个月后:换模型,重新算了一份 embedding_v2,1024 维。
  • 两个月后:要支持 hybrid search,补一列 sparse vector。
  • 三个月后:caption 做了一轮人工修订,要回填那一列。
发现没有,这份数据永远不会真正“写完”。这就是向量数据和传统业务数据的关键差异。
传统业务表里,一行订单写完以后,状态可能变化,但它不会每隔几周长出一个几 KB 的新字段。
向量数据不是这样,模型会换,特征会加,caption 会修,标签会补,索引会重建。同一批 row 会不断被重新解释。
而且规模向量数据的规模通常不是百万级,多模态训练数据动辄亿级片段。参照 LAION-5B 这种 58 亿图文对的规模,非结构化训练数据从一开始就不是小数据。
所以,向量存储的压力不在第一次 insert,而在后续持续演进。
以下是几个典型需求与变化。

02 

需求一:降低长字段带来的写放大

我们先来分析写入和回填。
过去十年,lakehouse 生态里最常见的存储选择是 Parquet 这一类列存格式。它适合分析型负载:字段稳定,数据多读少改,扫描时只读需要的列,压缩率高,生态成熟。
问题是,向量数据打破了少改多读这个前提。
先看数据形状。
结构化数据里,TPC-H 是一个典型参照,过去几十年分析型存储格式基本都是围着它做优化的。它最大的表 lineitem 有 16 列,包括 4 个整数键、4 个 decimal、3 个日期、若干短字符串,还有一个 44 字节以内的 comment。一行未压缩大约 150 字节,压缩后通常在 60 到 80 字节之间。TPC-H 1GB scale 的 lineitem 大约 600 万行。
这就是 Parquet 这类分析型存储格式假设的世界。默认 64 MB row group,在这种行宽下可以装下 40 万到 100 万行;按列压缩后,一整列的物理体积通常在几 MB 到几十 MB。
非结构化数据经过向量化以后,形状完全不同。
LAION 是非结构化数据(图文对)经过向量化之后的代表,AI 工作流里很多 dataset 都是这个形状。LAION-5B 的每条记录包含一个 URL、一段 caption(几十到一百多字节)、几个数值字段(width、height、相似度、NSFW 标签等),加上一份 CLIP embedding。社区最常用的 ViT-L/14 是 768 维:fp16 存 1.5 KB,fp32 存 3 KB。
对比一下:

TPC-H lineitem

LAION-5B 风格

单行未压缩字节

~150

~1.5–3 KB

64 MB row group 装下的行

40 万–100 万

2 万–4 万

单看一行的字节数,LAION 就比 TPC-H 大了 20 倍上下,这 20 倍里,向量列就贡献了 95% 以上。如果换成 OpenAI text-embedding-3-large 这种 3072 维 fp32 embedding,一行向量直接到 12 KB。多模态训练里常见的 1024 到 2048 维 embedding,单条也有 4 到 8 KB。
视频切帧场景里,每个片段除了 embedding,还会有 caption、aesthetic_score、原始视频引用、parser 版本、模型版本。结构化字段不一定少,向量列却贡献了绝大部分体积。
行的形状一变,列存原来的账就算不下去。
Parquet 这一类格式的核心假设有两条:列基本不可变,schema 演进低频。在 TPC-H 这种“行宽 150 字节、列数固定”的世界里,这两条假设几乎不付代价。加一列就是写一个新文件,每个 row group 64 MB,总共也就几 GB——分析任务里几乎属于是背景噪声。改一行靠 delete log + compaction,重写的也只是 64 MB 这个量级,每行才 150 字节,搬几十万行,成本都还在可控范围内。
到向量数据这里,代价直接放大。
第一,加一列向量本身就是 TB 级工程
假设有 1 亿个 clip。给每个 clip 补一列 1024 维 fp32 embedding,原始向量数据就是约 400 GB。
这还只是数据本身。真实系统里还要写对象存储,更新一份 stats,建立索引,更新元数据,校验覆盖范围。
如果每个月新增一到两列向量字段,比如 embedding_v2、sparse_vector、rerank feature,那么每次 schema 演进都意味着一次大型数据工程。前文中那个团队每个月加一到两列向量类型的字段,意味着每个月有 TB 级的写入和回填。
第二,改一行也不再便宜
列存系统里,删除或修改旧数据通常不是原地改,而是通过 delete log 加 compaction 完成。删除日志写进去,compaction 时把活着的行搬到新文件。
列存里删除或更新旧数据,通常会暴力的简单重写文件(因为一行不大,重新生成数据——例如制作一张宽表——的成本不高)。在 TPC-H 那种列上,一行也就几十到几百字节,搬一批 row 成本也不算高。
但向量数据不一样。一条 768 维 fp32 embedding 就有 3 KB;1024 到 2048 维 embedding 常见于多模态场景,单条就是 4 到 8 KB;如果是 3072 维 fp32,单条可以到 12 KB。
这意味着,一次 caption 人工修订,表面上只是回填几百字节的文本;但在旧的统一存储布局里,它可能会触发上百万 row id 的物理重写。整体数据量可达 GB 级别,相当于大规模重新写入数据。
如果文本、向量和其他派生特征共享同一批物理文件或 compaction 生命周期,那么修一列文本,就可能让同一批 row 上的 embedding、embedding_v2、sparse_vector 也被顺带重写。几百字节的更新,最后变成 GB 级 I/O。
这就是为什么说写放大问题,在面对向量数据时需要被格外重视。
第三,加列和改行 在向量数据里是高频动作
传统分析表的 schema 可能一年改几次。向量数据不是。
caption 模型会升级,embedding 模型会换,sparse vector 会后补,rerank feature 会增加,人工标注会修订,数据治理会补标签。
这些动作都不是简单追加新行,每一件都同时是改一列和针对一批 row 重写。
lakehouse 生态过去十年的优化方向是读得更快,不是改得更便宜。当主要写入模式从append-only 追加新行变成高频回填已有 row 的某几列,原本可控的写放大就会被向量列的长度放大成主导成本。
所以一个矛盾就出现了:结构化数据上列存几乎没有写放大问题;同一种列存放在向量数据上,写放大却成了主导成本。

03 

需求二:一份数据既要能扫,也要能点查

写完以后,读路径也会分裂。
同一份向量数据,业务侧可以有两种完全不同的读法。
第一种是列式扫描。
比如:
WHERE aesthetic_score > 0.8 AND duration > 5
或者:
COUNTGROUP BY离线分析全量 embedding 评估BM25 统计bitmap 构建数据质量检查
这种读法的特点是:读很多行,每行只看少数几列。它喜欢连续 I/O、大 row group、列压缩、批量解码和向量化执行。
Parquet 很适合这条路径。
第二种是行级点查。
ANN 检索返回一批 candidate row id 后,系统要回表拿读取:
captionembeddingrerank featurevideo_urimetadata
这种读法的特点是:读的行不多(几百到几千),但要按 row id 精确拿到几列。它需要低延迟随机访问,希望直接定位到某一行某一列,只读需要的 byte range,而不是拉一个完整 row group。
这两种读法对底层格式的要求几乎相反。
  • 扫描希望 row group 大,多列在物理上挨在一起,做向量化执行省 cache miss。这样一次 I/O 可以拉很多连续数据,压缩率好,吞吐高。点查希望读取粒度小。最好不用依赖大 row group,而是能按 row id 找到 segment 或 byte range。
  • 扫描喜欢重压缩,因为数据量大,少传输很重要。点查必须能在压缩块中间挑出一条记录,重压缩反而是负担。
  • 扫描可以靠并发掩盖对象存储延迟。点查在对象存储上很敏感,因为每一次随机读都可能变成一次远程 range GET。row group 越大、单条 row 的位置越模糊,读放大越严重。
标量要的是宽和压缩,向量要的是窄和点查。一个文件格式不可能同时满足这两种需求。
如果所有列都放进 Parquet,标量扫描会很舒服,但 ANN 召回后的向量回表会很麻烦。系统可能只想拿几百条向量,底层却要拉很多无关 row group。数据在本地 SSD 上时,还可以靠 cache 和 mmap 缓解。一旦数据上 S3,每一次 cache miss 都会变成远程读取,一次 ANN 查询触发几十 MB 的网络流量。一次召回要回表读 1000 条 row,可能要触发上千次 row group 拉取,每次几十 MB——总流量直接上 GB。
如果为了点查把 row group 切得很小,点查变好了,但扫描又变差。大量小片段会拖垮连续读和压缩效率。
更现实的是,hybrid search 会在同一次查询里同时触发两种读法。
先用标量字段过滤:
aesthetic_score > 0.8 AND duration > 5
再做 ANN 召回。
再按 row id 回表取 caption、vector 和 metadata。
也就是说,同一份数据在同一个查询里既像分析表,又像低延迟随机访问。同一份数据被同一个用户在 200 毫秒内两种读法各走一遍。
这不是调 row group size 能解决的问题。

04 

需求三:让外部系统围绕同一份数据工作

前两个问题发生在数据库内部:怎么写,怎么读。第三个问题发生在系统边界上:以视频切帧场景为例,它从头到尾几乎没有一个环节,只发生在向量数据库内部。
向量数据库只是整条链路中间的一段。它负责在线检索,但数据生产、数据修订、数据分析和数据治理都发生在外部。其中,原始视频在 S3 上;切帧在 PySpark 或者 Ray 里跑;美学打分用一个独立的 GPU 服务;caption 由一个 LLM inference pipeline 算;embedding 在另一个 GPU 池里算;sparse vector 在 SPLADE 服务上算。此外,检索完成后,检索结果要喂给训练数据筛选 pipeline;同一份数据要进入离线评估,跟人工标注比对;rerank model 要拿这批 vector 重新训练;caption 要做人工审核然后回填;数据治理要审计敏感内容。这些工作也都不在向量数据库里。
数据库本身只占整条链路的中间一段——服务在线检索。它前面是 ML pipeline,后面是分析、评估、治理、回填。如果向…
— 以上为试看内容(约 40%),开通会员后阅读全文 —