向量数据库早期有一个默认的抽象:一个实体(Entity)= 一条向量(Embedding)。文档可以被编码成一个向量,商品也可以被编码成一个向量,搜索的基本动作就是把 query vector 与这些 entity vectors 做近邻搜索。第一代语义搜索、推荐召回和 RAG,也基本都建立在这个模型之上。但它背后有一个隐含条件: 实体足够简单,一条embedding数据,就足以表示我们的完整原始数据信息。对一篇几百字的文章,这个假设还勉强成立。但对一段视频、一份长文档、一个包含几十张图片的商品来说,如果把所有内容强行压缩成一条向量,细节全就会被全部平均掉。而检索中,真正决定相关性的,往往是局部内容,而非整篇文档的单一向量。一个暴力的办法是把这些局部内容全部拆开。例如,把一条视频拆成多个 clips,每个 clip 都作为独立 Entity 保存自己的 embedding、start_time、end_time、caption、scene_type 和 confidence。- 同一条视频的多个 clips 可能同时进入 Top-K;
- 父级 metadata 需要在多个 records 中重复存储;
- 最终业务如果展示的是“视频”而不是“clip”,应用还要自己做 grouping、dedup 和 rerank;
- 更重要的是,数据库已经不知道这些 clips 原本共同属于一个什么样的逻辑对象。
这里存在一个很典型的粒度矛盾:业务消费的是整体,搜索命中的却往往是局部。那么究竟要如何在数据库中兼顾局部信息精准性同时,还能理解这种整体与局部的关系?基于这一背景,在Milvus 3.0 中,我们引入了StructArray。它允许一个 Entity 内保存一组彼此对齐的 Elements。每个 Element 可以包含受支持的 scalar metadata 和 vector sub-fields,同时仍然属于同一个 Parent Entity。从而让数据库知道哪些数据在共同描述同一个对象,也可以决定搜索到底发生在 entity 还是 element 层面,抑或是在两种粒度之间完成过滤、排序和结果融合。01
从一条记录到一组有身份的 Elements
一段 video entity 往往会被切成多个 clips。JSON 或多列 Array 都能保存这些数据,但却无法把同一个 clip 的多个字段作为一组关联数据来处理。JSON 目前不支持向量子字段,因此无法在其中定义和索引 clip-level vector。多列 Array 则彼此独立,数据库无法保证相同 offset 的元素属于同一个 clip,例如 scene_type[3] 和 label_confidence[3] 的对应关系只能由应用维护,也因此难以支持后续 match_family 这类跨字段匹配。StructArray 则把 Element 的结构直接定义在了 Schema 中,让数据库明确知道同一个 offset 上的多个 sub-fields 属于同一个 Element。scene_type → VARCHARlabel_confidence → FLOATemb → FLOAT_VECTOR
也知道同一 offset 下的这些 subfields 属于同一个 Element。因此它们可以分别参与索引、向量搜索、过滤和输出。在视频表示中, video entity 可以包含多个 clips:clips: ARRAYSTRUCT clip_embedding_list: FLOAT_VECTOR, clip_embedding: FLOAT_VECTOR, start_sec: DOUBLE, end_sec: DOUBLE, caption: VARCHAR, scene_type: VARCHAR, label_confidence: FLOAT>>
- clips[0][clip_embedding] 和 clips[0][caption] 属于同一个 clip;
- clips[3][scene_type] 和 clips[3][label_confidence] 属于另一个 clip。
02
建模:一个 Video Entity 如何保存多个 Clips
下面用一个简化版 PyMilvus 示例创建视频 Collection。Collection 包含一个顶层向量字段,以及一个保存视频片段的 StructArray。为了同时演示两种搜索方式,这里为 clip 定义两个独立的向量子字段。from pymilvus import DataType, MilvusClientclient = MilvusClient(uri="http://localhost:19530")schema = client.create_schema(auto_id=False, enable_dynamic_field=False)schema.add_field("id", DataType.INT64, is_primary=True)schema.add_field("title", DataType.VARCHAR, max_length=512)schema.add_field("video_embedding", DataType.FLOAT_VECTOR, dim=768)# struct 需要显式定义 schemaclip_schema = client.create_struct_field_schema()clip_schema.add_field("clip_embedding_list", DataType.FLOAT_VECTOR, dim=768)clip_schema.add_field("clip_embedding", DataType.FLOAT_VECTOR, dim=768)clip_schema.add_field("start_sec", DataType.DOUBLE)clip_schema.add_field("end_sec", DataType.DOUBLE)clip_schema.add_field("caption", DataType.VARCHAR, max_length=2048)clip_schema.add_field("scene_type", DataType.VARCHAR, max_length=128)clip_schema.add_field("label_confidence", DataType.FLOAT)schema.add_field( "clips", datatype=DataType.ARRAY, element_type=DataType.STRUCT, struct_schema=clip_schema, max_capacity=1024,)client.create_collection("videos", schema=schema)如果后面要做 vector search 或高效过滤,还需要显式创建索引。为了和后文的 embedding-list search 示例一致,这里给clips[clip_embedding_list]创建 MAX_SIM_COSINE 索引:index_params = client.prepare_index_params()# EmbeddingList searchindex_params.add_index( field_name="clips[clip_embedding_list]", index_type="HNSW", metric_type="MAX_SIM_COSINE", index_name="clips_clip_embedding_list_maxsim_idx", params={"M": 16, "efConstruction": 200},)# Element-level searchindex_params.add_index( field_name="clips[clip_embedding]", index_type="HNSW", metric_type="COSINE", index_name="clips_clip_embedding_cosine_idx", params={"M": 16, "efConstruction": 200},)client.create_index("videos", index_params=index_params)这里需要分别为两个 vector sub-fields 建立索引。clips[clip_embedding_list] 使用 MAX_SIM_COSINE,服务于 EmbeddingList search;clips[clip_embedding] 使用普通的 COSINE metric,服务于 element-level search。之所以需要两个字段,是因为一个 vector sub-field 只能绑定一个索引,而两种搜索模式使用不同的 metric family。插入数据时,用户可以按最自然的 entity 结构写入:rows = [ { "id": 1, "title": "cooking tutorial", "video_embedding": video_vec, "clips": [ { "clip_embedding_list": clip_vec_1, "clip_embedding": clip_vec_1, "start_sec": 0.0, "end_sec": 8.0, "caption": "A person washes vegetables.", "scene_type": "kitchen", "label_confidence": 0.92, }, { "clip_embedding_list": clip_vec_2, "clip_embedding": clip_vec_2, "start_sec": 8.0, "end_sec": 16.0, "caption": "A person cuts carrots on a board.", "scene_type": "kitchen", "label_confidence": 0.96, }, ], }]client.insert("videos", rows)client.flush("videos")client.load_collection("videos")03
基于StructArray的三种过滤与检索方式
但有了这层结构以后,Milvus 可以围绕同一组 Elements 提供三种不同的执行语义:- 在 Element 上判断条件,再过滤 Parent Entity;
- 把一组 Element embeddings 作为整体参与 Entity-level search;
- 让每个 Element embedding 独立参与ANN,直接返回局部命中。
其中,第一类 MATCH_*系列操作符,可以用于判断是否过滤父实体MATCH_ANY、MATCH_ALL、MATCH_LEAST、MATCH_MOST 和 MATCH_EXACT 会在 Struct 元素上执行 predicate,统计有多少元素满足条件,再据此判断整个父实体是否通过过滤。MATCH_ANY(clips, $[scene_type] == "kitchen" && $[label_confidence] > 0.8)
这个表达式要求同一个 offset 上的 scene_type 和 label_confidence 同时满足条件,然后再把 element-level predicate 聚合成 entity-level predicate。它不是跨 clips 拼条件,也不是几列普通 arrays 各自独立过滤。第二类, embedding-list search,则可以直接返回父实体clips[clip_embedding_list] 中的多个向量共同构成这个视频的一个 EmbeddingList。查询本身同…