Loop Engineering 实战:实现从日志扫描到预发部署的全自主闭环

阿里妹导读


文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。

1 引子:

Loop Engineering 的目标不是写得更快,

而是让你从维护循环里撤出来

Boris Cherny 单日合并 150 个 PR;Peter Steinberger 同时跑 100 个 AI Agent 持续编码 30 天。数字背后是同一件事:瓶颈不在写得更快,而在能否设计出自己转的循环。

能跑起来的循环不等于有用的循环——循环的本质,是生成器接上验证器。 没有验证器,自动化只是在更快地烧 token。

指标

Before

After

变化

一周 ERROR 总量

1210 条

47 条

↓ 96%

同类问题修复时间

48 分钟

15 分钟

↓ 69%

人工介入次数(到预发)

每次都要

0 次

全自动

表1-1:Before/After 效果对比(三项指标分别对应发现速度、修复效率、人工介入三个断裂点)

上述数字来自同一条日常链路:一句指令,Agent 从 3 个日志库挖出 Bug → 诊断根因 → 生成补丁 → 跑完 334 条测试 → 提交 CR → 预发部署 → 集成验证 → 钉钉通知审批。 人只需点「批准发布」。

这不是概念验证,是我们维护 AI 云诊断系统的日常。全文沿三条主线展开:

  1. 日志分析自主挖 Bug — 跨 3 个 Logstore 关联、7 子命令 + git log 交叉验证

  2. Bug 自主修复闭环— 发现 → 诊断 → 补丁 → 测试 → 预发部署,全程 Agent 驱动

  3. 一条指令或定时触发跑完全流程— 人工一句话触发,或 Automation 每日自动跑:开发 → 部署 → 测试 → 预发 → 线上对比

2 痛点:AI 写代码快了,

但发现→修复→上线的维护循环仍靠你推

2026 年 6 月第二周,我们一周捞出 1210 条 ERROR——散在 3 个日志库,类型从上游超时到 LLM 幻觉应有尽有。

2025 年 3 月起,我们开始大规模用 AI 写代码。一个新功能从想法到实现,可能只要半天。但代码写完只是开头。

真正吃时间的,是上线之后的维护循环: 发现问题 → 查日志 → 定位根因 → 写修复 → 跑测试 → 上线。AI 帮你写代码很快,推动这个循环转起来的,还是你。

我们维护着一套 AI 驱动的诊断系统——帮用户排查云服务器故障。讽刺的是:这个系统本身也有一堆线上问题要修。

值班同事打开日志控制台,只看得到热门几条。每条都要手动复制、喂 AI、对代码、写修复、跑测试、提审查、等发布。一轮排查花 2–3 天,覆盖的不过冰山一角。

图2-1:人工驱动维护循环的瓶颈——任一环节卡住,整条链路停转;人推循环 = 单线程瓶颈

2.1 维护循环卡死的三个断裂点:

看不见、记不住、没闭环

看不见。 错误散在三个日志库(agent_log、mcp_client_log、mcp_server_log),没有人做聚合。某天从 50 条飙到 350 条,第二天才有人发现——晚了整整一天。

记不住。 上次排查连接池超时花了整天(根因是某个方法设了 2 秒激进超时),下次遇到同类问题还得从头来。AI 在对话里推理得很好,但关掉对话就失忆了。

没闭环。 有一次 Agent 说「已修复」——其实只是把 logger.error 改成了 logger.warning。错误还在,只是不报了。区分「掩盖故障」和「合理降级」需要独立验证,不能靠修复者自证。

根因只有一个:维护链路从没被当成一个需要设计的系统。 它靠人在推,人就是瓶颈。这三点缺位,正是前三代 AI 工程化填不上的坑——接下来看看,AI 工程化走过了哪些阶段,为什么到了 Loop 这一层才能真正填上这些断裂点。

3 演进:从 Prompt 到 Loop,

四代 AI 工程化范式逐层叠加

AI 工程化走过了四层楼,像带新人:

第1层:先教说话(Prompt)——告诉新人「去查一下连接池超时的原因」,他能照着做一次,但下次换个问题还得你再说一遍。典型:ChatGPT 对话式排查。

第2层:再摆材料(Context)——把代码库、文档、日志样本一次性喂给他,他能给出更准的分析,但仍然是你问一句答一句。典型:Cursor 带 codebase 索引。

第3层:再配工具(Harness)——给他 Shell、MCP、Git 权限,他能自己查日志、改代码、跑测试,但每次都要你启动。典型:Claude Code 单次会话修 Bug。

第4层:最后写 SOP 让他自己转(Loop)——写好巡检规则、修复手册、验证标准,他每天自己扫、自己修、自己验,你只在关键节点审批。典型:本文实践。

上层包含下层所有能力,每层解锁新瓶颈:

图3-1:四代 AI 工程化范式演进——

选范式前先问:你的任务卡在哪一层瓶颈

Loop 在 Harness 之上补上自动发现、验证、持久化与调度,才能填上三个断裂点:

→看不见 → 发现(Connectors + Automations)

→记不住 → 持久化(State + Skills)

→没闭环 → 验证(Sub Agents)

知道了四层楼的关系,接下来具体定义:Loop 层到底包含什么?怎么判断一个任务该不该建 Loop?需要哪些组件?

4 原理:Loop 是让 AI 自己发现工作、

验证结果并记住经验的系统设计方法

前三层解决「AI 能不能做好一件事」,Loop 解决「谁来驱动 AI 持续做事」。 如果你发现自己每天都在手动触发 Agent、审查结果、推进流程——你就是循环里最慢的一环。

Loop 和 Harness 的本质区别: Harness 是一次运行的武装——工具、动作、完成条件。Loop 在 Harness 之上加了定时调度、子 Agent 并行、跨轮记忆三件事。跨越单次对话的记忆,是「循环」和「一次性操作」的分界线。

4.1 Loop 靠发现、交付、验证、

持久化、调度五个动作才能持续运转

图4-1:Loop 五动作闭环——

缺验证或调度,循环退化为一次性 prompt

发现(找出该做的事)→ 交付(隔离交给 Agent)→ 验证(换个 Agent 说不)→ 持久化(状态写到对话外)→ 调度(一圈圈自动转)。

调度是最后一块拼图: 没有自动化,循环就不是循环,只是一次性操作。

4.2 四格检验:不是所有任务都值得建 Loop

五个动作描述了 Loop 怎么转,但还有一个前置问题——该不该建。建 Loop 有 setup 成本(写 Skill、接 Connectors、调验证器),不是所有场景都值得投入。

四格检验:任务会重复、验证能自动化、Token 预算可承受、Agent 有高级工程师的工具——四格全满才值得建 Loop。 我们的日志诊断场景逐条验证:每天跑(重复)、334 条测试 + 6 层验证(自动化)、单次耗费可预估(预算)、SLS + Langfuse + Pipeline 全通(工具齐备)。反例:一次性架构评审、「提升用户体验」这类目标模糊的探索——任一条件缺失就不该建 Loop。

4.3 六个组件如何拼成一个完整的 Loop 闭环

Loop 要转起来,需要六个配合的零件——Connectors(感知)、Automations(驱动)、Skills(SOP)、Worktrees(隔离)、Sub Agents(裁判)、State(记忆)。它们按依赖顺序拼成闭环:

 图4-2:六个组件协作架构——

Connectors 决定感知上限,State 决定复利斜率

五个动作映射到六个组件:发现靠 Connectors + Automations,交付靠 Skills + Worktrees,验证靠 Sub Agents,持久化靠 State,调度靠 Automations。实施依赖顺序: Connectors(地基)→ Automations → Skills → Worktrees → Sub Agents → State。缺一个,后面的都站不住。

5 实践:从日志扫描到预发部署,

我们如何落地全自主 Loop

这不是 Demo,而是每天在跑的生产系统。 系统每天自动扫描 10+ 项目日志,自主发现、定位、修复、验证、发布。

上周一次真实运转:

验证失败时,修复 Skill 自动进入下一轮(分析失败原因 → 调整补丁 → 重跑测试),最多 3 轮。上周三连接池补丁导致 2 个单测失败,第 2 轮更新 mock 参数后通过。第 3 轮仍失败则自动停止并推送钉钉工单给 Owner——不在错误方向上无限重试。

阶段

传统方式

我们的 Loop

提升

发现

值班同事第二天看日志

5 分钟内自动告警 + 每日全量扫描

天级 → 分钟级

诊断

人工复制日志喂 AI,两三天覆盖 Top 3-5

8 阶段结构化诊断,48 分钟全部根因定位

覆盖率从 Top 5 → 全量

修复

人写补丁、跑测试、提 CR

自动生成补丁 → 跑 334 个测试 → 提交

人工半天 → 自动 15 分钟

验证

修复者自己说「好了」

6 层独立验证,修复者不能给自己打分

消灭假修复

发布

手动部署 + 人工检查

自动部署预发 → 集成测试 → Trace 验证 → 钉钉推送

全自动到预发

沉淀

关掉对话就忘了

修复方案自动写入知识库,同类问题从 48min 降到 15min

经验可复用

表5-1:传统方式 vs. Loop 全流程对比

(发现、诊断、修复、验证、发布、沉淀六阶段)

5.1 Connectors 用 MCP 打通日志、

追踪与发布,让 Agent 看见线上世界

Connectors 排第一,因为 Agent 默认只能看见本地文件系统。 没有工具接入,后面所有组件都是空中楼阁。

图5-1:Connectors 六层架构——

没有跨库 trace,Agent 只能做单表搜索

9000+ 行工具链搭了 6 层连接器(数据访问 → 模型追踪 → 发布 → 通知 → 验证 → 基础设施),让 Agent 具备完整的线上感知和操作能力。

日志查询是 Connectors 层最核心的能力。 1280 行脚本(sls_logquery_tools.py)提供 7 个子命令,数据分散在 3 个 Logstore 中:

Logstore

记录什么

典型字段

agent_log

API 入口、Agent 路由、Python 异常

request_id, file, level

mcp_client_log

MCP 工具执行详情、耗时

request_id, tool_name, duration_ms

mcp_server_log

工具调用链、入参出参

request_id, re…

— 以上为试看内容(约 40%),开通会员后阅读全文 —