RAG运维如何用好Loop Engineering?Milvus 3.0 对它有什么价值?

最近,在硅谷又多了一个流行新词,Loop Engineering。
而伴随Loop Engineering的爆火,Anthropic Claude Code 负责人 Boris Cherny、OpenClaw的创始人Peter在内诸多大神开始公开发声:loop会彻底取代prompt,成为人与LLM交互的新范式。
这里可能很多人还不清楚发生了什么。翻译一下,所谓Loop,就是你设计一套系统,让它自己发现问题、分派任务、检查结果、记录状态,并决定下一步的思路。而Prompt Engineering 只能你不断告诉模型下一步做什么。
在 coding 场景里,这套模式已经跑起来了。比如每天自动扫描 CI 失败、issue、commit,让 agent 修复代码,再让另一个 agent 审查,通过后自动提 PR。
但 loop 不只适合写代码。
RAG 系统的数据运维,也同样非常适合用 loop 的方式重新组织。因为 RAG 系统最大的问题,往往不是第一次把知识库建起来,而是后面每天都要维护它:灌文档、刷索引、换模型、清过期、故障恢复……很多团队今天还是靠脚本处理这些事,等到下次再出问题,再改脚本。
而这些任务,其实非常适合用 loop 循环去做优化,因为无论是coding场景,还是RAG场景,其实都需要持续触发、隔离执行、状态记录、结果验证和失败恢复。
但如何从向量数据库层面去支撑Loop Engineering的运行?以下是我们对Loop Engineering的一些理解,以及我们在Milvus 3.0 中的思考与针对性能力建设,希望可以帮你做好RAG建设。

01 Loop Engineering 到底是什么,为什么RAG需要它

过去两年,很多人使用 coding agent 的方式是这样的:你写一个 prompt—模型返回结果—你看结果—你再写下一个 prompt。
这个过程里,人是循环的一部分。每一轮都需要人在场。agent 能走多远,取决于人的判断力。agent 能跑多快,取决于人的时间。
这就是典型的 Prompt Engineering。
在Loop Engineering 行业彻底换了一个思路:人类设计一个循环系统,这个循环会自动触发任务,调用 agent,检查输出,记录状态,然后决定下一步。
这个系统自动发现需要做的工作,把工作分派给 agent,检查 agent 的输出,记录结果,然后决定下一步做什么。人类从循环中,跳到了循环外,变成设计循环的人。
举个 coding agent 的例子。
每天早上,系统自动读取昨天失败的 CI、扫描新开的 issue、检查最近的 commit。对每一个值得处理的问题,它都会新开一个隔离工作区,让一个 agent 去修复。修完之后,再让另一个 agent 审查。审查通过,就自动提 PR、关联 issue、通知相关人。审查不过,就进入人工 triage 队列。
不难发现, loop engineering 的适用范围不止于写代码。任何需要持续运行、多步骤、有判断、需要记住上下文的 agent 工作流,都可以用 loop 的框架来组织。
RAG 系统看起来和 coding agent 不一样,但它们都有一个共同点:工作不是一次性的。
在这些系统中,文档会更新、数据源会增加、业务规则会变化、embedding 模型会升级、旧内容会污染结果……系统中的数据运维天然是一个持续循环。
手动处理,在数据量小、更新频率低的时候可以接受。但一旦系统持续运行,数据量增加,就会出现:
全量重灌的成本越来越高
脚本要自己记住哪些数据处理过哪些没处理过
过期内容如果不清理,会一直污染检索结果
写入和查询同时发生时,很难判断读到的是不是最新数据(这对agent尤其重要)
每次改 embedding 模型或索引策略都缺少清晰的版本边界(数据量变大之后,引入embedding是必须的)
系统故障后如果没有 checkpoint只能重跑一遍

02 Loop 的五个构件,对RAG有什么启发

Addy Osmani 在 Loop Engineering 一文中把 loop engineering 拆成了五个构件加一个记忆层:
Automations:按节奏自动触发任务,是 loop 的心跳
Worktrees:让多个 agent 在隔离环境里并行工作。
Skills:把项目知识写下来,agent 不用每次从零猜
Connectors:连接 issue tracker、CI、Slack、代码仓库等外部系统。
Sub-agents:把执行和检查拆开,不让同一个 agent 自写自审。
Memory:记录跨轮状态,知道什么做完了、什么失败了、下一轮从哪里继续。
换到 RAG 的数据运维里,这些组件要重新翻译。
Automations 对应持续的数据与索引的持续刷新;Memory 对应 checkpoint 和版本状态;Sub-agents 对应写入、验证、线上读取之间的职责拆分。Skills 对应数据处理规则,比如 chunking 策略、metadata 提取规则、字段索引规则、数据源优先级等。Connectors 对应数据源和下游应用(Milvus 3.0 的 External Collection 本身就承担了部分 connector 的角色,下文会展开)。
此外,RAG 的数据 loop 还有两个 coding agent 不太操心的问题:
第一,数据会不断变多,过期内容必须自动清理。
第二,向量库一旦故障,恢复成本远高于重跑一个 coding task。
下面会结合Milvus 3.0的能力逐一展开。

03 Heartbeat:数据灌入成为持续任务后,要如何处理索引

在 coding agent 的 loop 里,Automations 是心跳,它会每天早上自动跑一轮 CI triage,读昨天的失败、issue、commit,把发现写进状态文件,触发下游修复。没
RAG 系统的心跳是持续的数据灌入。
传统做法是把数据搬进向量库。数据在对象存储或数据库里有一份,在 Milvus 里又有一份。然后你还要维护两边的同步关系。这个过程中,全量重灌的成本随数据量线性增长,不可持续。
因此,在Milvus 3.0 中,我们在 External Collection 设计上换了一个思路:数据不搬家,索引去数据那里。
External Collection 可以直接引用外部存储里的数据,比如 S3 上的数据,Parquet、Lance、Vortex、Iceberg 格式都可以。这个过程中,Milvus 不需要把数据复制进自己的存储,而是在外部数据上建立映射和索引,然后提供查询能力。
schema = MilvusClient.create_schema(    external_source="s3://my-bucket/path/to/data/",    external_spec='{"format": "parquet"}')schema.add_field(    field_name="text",    datatype=DataType.VARCHAR,    max_length=256,    external_field="source_text_column"  # 映射到外部 Parquet 文件的列名)schema.add_field(    field_name="vector",    datatype=DataType.FLOAT_VECTOR,    dim=128,    external_field="embedding_column")
当源数据发生变化时,loop 可以调用 refresh_external_collection() 触发增量刷新。这个 API 是异步的,返回一个 job_id,你可以追踪刷新状态:
job_id = client.refresh_external_collection(    collection_name="my_external_collection")# 追踪刷新进度progress = client.get_refresh_external_collection_progress(job_id=job_id)# state: Pending / InProgress / Completed / Failed# progress: 百分比# reason: 失败时的错误信息
这个动作就是 RAG 数据 loop 的心跳:帮助我们把“哪些数据已经处理过、哪些数据需要更新”这类状态管理交给基础设施,而不是散落在业务脚本里。
需要注意的是,External Collection 更适合只读或以外部数据源为主的场景,不支持 insert、delete、upsert。数据修改必须发生在源头(对象存储上的文件),Milvus 通过 refresh 同步变化。这个约束价值在于:源数据只有一…
— 以上为试看内容(约 40%),开通会员后阅读全文 —