Milvus 3.0 开源解读|如何借助原生 TEXT 类型和 LOB 高效管理原始文本


在 AI 检索系统中,Embedding 可以帮助我们快速找到语义相近的内容。但从 TEXT_MATCH、BM25 等词法检索,到 reranking、答案生成、高亮和审计,系统仍然需要保存并访问原始文本。

也是因此,如何让原始文本可以和索引一起被存储、检索和管理,也是现代数据库建设中的关键命题。
早期,行业普遍采用向量数据库 + 外部存储的解耦架构来解决这一问题:向量数据库仅存放 Embedding 和简单的 Metadata,而长文档正文、代码段或日志则存放在 S3、MongoDB 或 Elasticsearch 中。
在这种架构中,一旦我们需要更新或删除文档,就必须同时操作外部存储与向量数据库。然而,在分布式网络下,这种方式极易引发数据不一致,导致向量检索命中但取不到正文(或者取错版本)。与此同时,混合检索又进一步放大了这个问题:如果原始文本不在向量数据库内,BM25 倒排索引的构建与全文本过滤就必须依赖外部组件,链路冗长且难以保证原子性。
既然如此,为什么不直接把正文放进数据库中?
原因在于,如果只是简单地将巨量原始文本作为普通字符串列塞进向量数据库,却仍然按照普通内联字符串处理,大 Payload 又会进入内存、flush、compaction 和 I/O 的每一个环节:百 KB 到数MB的长文本会迅速挤爆内存缓冲区,并在数据合并重构(Compaction)时引发极其严重的磁盘与网络写放大。
Milvus 3.0 引入 DataType.TEXT 和 LOB 存储路径,所要解决的,就是这个问题:让长文本像稠密向量、稀疏向量和标量字段一样,成为 Milvus 中的一等公民,并纳入对象存储的完整生命周期管理。
具体来说
  • TEXT 可以用来存储文档正文、RAG chunk、日志、源代码、对话等较长的文本内容。
  • 同一个 TEXT 字段可以与 analyzer、text_match、BM25、稠密向量以及混合搜索配合使用。
  • 较短的文本仍然直接存放在 Segment 中;较大的文本则转为 LOB 文件,并在 Segment 中保存引用。
  • Compaction 时,如果现有 LOB 文件仍然值得保留,可以直接复用,而不必重新写入全部正文。
  • DataCoord 中的 LOB GC 会根据 Manifest 的引用关系和安全时间窗口,清理已经失去引用的孤儿文件。

01 

为什么不能把TEXT 当成一个更大的 VARCHAR

先区分两个容易混淆的概念。
对于标签、状态、名称、类别、ID 等短元数据,VARCHAR 依然是更合适的选择。
TEXT 则适合面向更长的内容,例如:RAG chunk 文本;文档正文;源代码;日志;客服或支持对话;多语言文本;需要参与全文检索或混合检索的字段。
例如,我们可以这样定义 Schema:
schema.add_field(    field_name="content",    datatype=DataType.TEXT,    nullable=True,    enable_analyzer=True,    enable_match=True,    analyzer_params={"tokenizer": "standard"},)
这里的 content 不仅可以正常写入和返回,还可以参与 analyzer、text_match、BM25 等文本检索能力。
这意味着从数据模型来看,正文终于可以和向量、标量字段放在同一个 Collection 里。
但这马上带来了下一个问题:
为什么 Milvus 还需要为TEXT单独设计 LOB,而不是继续像普通 Segment 列一样保存它?原因主要有四个:
1、Growing Segment 的内存压力会迅速放大
Milvus 要让刚写入的数据立即可查,QueryNode 中的 Growing Segment 就必须能够访问最近写入的数据。
对于普通标量字段,这部分数据通常不大。
但如果一行数据携带几百 KB 甚至数 MB 的正文,情况就完全不同了。此时决定内存占用的可能不再是向量,而是文本 Payload 本身。
2、写入链路可能重复保存同一份大文本
传统写入链路可以简化为:
WAL -> StreamingNode write buffer -> object storage
与此同时,为了查询 Growing Data,QueryNode 本身也需要访问刚写入的数据。
于是,对于大文本来说,一个明显的问题出现了:如果 StreamingNode 为了等待 flush 再保留一份完整 Payload,而查询侧已经持有一份,相当于同一份正文在内存中被重复保存。
3、Compaction 带来的写放大
Compaction 的目的通常是整理 Segment、处理删除记录并重组数据。
但如果长文本和其他字段始终捆绑在同一个 Segment 文件中,哪怕真正发生变化的只有少数几行,Compaction 仍然可能不得不重新搬运大量完全没有变化的正文。
例如,一个 Segment 中有几 GB 的原始文本,而这次 Compaction 实际只删除了其中很少一部分记录。
理想状态下,我们只需要更新这些记录的引用关系。如果正文完全内联,则可能不得不把几 GB 数据重新写一遍。
4、与文本无关的查询也承担了额外I/O
并不是每一次向量搜索都需要返回全文。很多查询只需要向量、主键、标量过滤字段,或者少量指定的输出字段。如果大文本始终内联在 Segment 列文件中,这些文件会因为正文而变得更大,即便一次查询根本不会访问这些内容。
基于以上背景,如何让大文本进入 Milvus,又尽量不干扰原有的向量和标量数据路径,正是我们引入LOB 存储的原因。

02 

混合存储:短文本内联,大文本走 LOB

为了在“读取性能”与“存储开销”之间取得最佳平衡,Milvus 3.0 并没有把所有 TEXT 都无条件拆成独立文件,而是在存储底层通过混合存储布局引入了动态的分层处理机制。
系统会根据文本 Payload 体积自动切换保存策略:如果一段文本本身很短,把它放在 Segment 里直接读取通常更简单;只有当 Payload 足够大时,才把它从主数据路径中拆出去。
(当前默认阈值为64 KiB,具体参…
— 以上为试看内容(约 40%),开通会员后阅读全文 —