Loop Engineering 实战:实现从日志扫描到预发部署的全自主闭环
阿里妹导读
文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。
1 引子:
Loop Engineering 的目标不是写得更快,
而是让你从维护循环里撤出来
Boris Cherny 单日合并 150 个 PR;Peter Steinberger 同时跑 100 个 AI Agent 持续编码 30 天。数字背后是同一件事:瓶颈不在写得更快,而在能否设计出自己转的循环。
能跑起来的循环不等于有用的循环——循环的本质,是生成器接上验证器。 没有验证器,自动化只是在更快地烧 token。
指标 | Before | After | 变化 |
一周 ERROR 总量 | 1210 条 | 47 条 | ↓ 96% |
同类问题修复时间 | 48 分钟 | 15 分钟 | ↓ 69% |
人工介入次数(到预发) | 每次都要 | 0 次 | 全自动 |
表1-1:Before/After 效果对比(三项指标分别对应发现速度、修复效率、人工介入三个断裂点)
上述数字来自同一条日常链路:一句指令,Agent 从 3 个日志库挖出 Bug → 诊断根因 → 生成补丁 → 跑完 334 条测试 → 提交 CR → 预发部署 → 集成验证 → 钉钉通知审批。 人只需点「批准发布」。
这不是概念验证,是我们维护 AI 云诊断系统的日常。全文沿三条主线展开:
日志分析自主挖 Bug — 跨 3 个 Logstore 关联、7 子命令 +
git log交叉验证Bug 自主修复闭环— 发现 → 诊断 → 补丁 → 测试 → 预发部署,全程 Agent 驱动
一条指令或定时触发跑完全流程— 人工一句话触发,或 Automation 每日自动跑:开发 → 部署 → 测试 → 预发 → 线上对比
2 痛点:AI 写代码快了,
但发现→修复→上线的维护循环仍靠你推
2026 年 6 月第二周,我们一周捞出 1210 条 ERROR——散在 3 个日志库,类型从上游超时到 LLM 幻觉应有尽有。
2025 年 3 月起,我们开始大规模用 AI 写代码。一个新功能从想法到实现,可能只要半天。但代码写完只是开头。
真正吃时间的,是上线之后的维护循环: 发现问题 → 查日志 → 定位根因 → 写修复 → 跑测试 → 上线。AI 帮你写代码很快,推动这个循环转起来的,还是你。
我们维护着一套 AI 驱动的诊断系统——帮用户排查云服务器故障。讽刺的是:这个系统本身也有一堆线上问题要修。
值班同事打开日志控制台,只看得到热门几条。每条都要手动复制、喂 AI、对代码、写修复、跑测试、提审查、等发布。一轮排查花 2–3 天,覆盖的不过冰山一角。
图2-1:人工驱动维护循环的瓶颈——任一环节卡住,整条链路停转;人推循环 = 单线程瓶颈
2.1 维护循环卡死的三个断裂点:
看不见、记不住、没闭环
看不见。 错误散在三个日志库(agent_log、mcp_client_log、mcp_server_log),没有人做聚合。某天从 50 条飙到 350 条,第二天才有人发现——晚了整整一天。
记不住。 上次排查连接池超时花了整天(根因是某个方法设了 2 秒激进超时),下次遇到同类问题还得从头来。AI 在对话里推理得很好,但关掉对话就失忆了。
没闭环。 有一次 Agent 说「已修复」——其实只是把 logger.error 改成了 logger.warning。错误还在,只是不报了。区分「掩盖故障」和「合理降级」需要独立验证,不能靠修复者自证。
根因只有一个:维护链路从没被当成一个需要设计的系统。 它靠人在推,人就是瓶颈。这三点缺位,正是前三代 AI 工程化填不上的坑——接下来看看,AI 工程化走过了哪些阶段,为什么到了 Loop 这一层才能真正填上这些断裂点。
3 演进:从 Prompt 到 Loop,
四代 AI 工程化范式逐层叠加
AI 工程化走过了四层楼,像带新人:
第1层:先教说话(Prompt)——告诉新人「去查一下连接池超时的原因」,他能照着做一次,但下次换个问题还得你再说一遍。典型:ChatGPT 对话式排查。
第2层:再摆材料(Context)——把代码库、文档、日志样本一次性喂给他,他能给出更准的分析,但仍然是你问一句答一句。典型:Cursor 带 codebase 索引。
第3层:再配工具(Harness)——给他 Shell、MCP、Git 权限,他能自己查日志、改代码、跑测试,但每次都要你启动。典型:Claude Code 单次会话修 Bug。
第4层:最后写 SOP 让他自己转(Loop)——写好巡检规则、修复手册、验证标准,他每天自己扫、自己修、自己验,你只在关键节点审批。典型:本文实践。
上层包含下层所有能力,每层解锁新瓶颈:
图3-1:四代 AI 工程化范式演进——
选范式前先问:你的任务卡在哪一层瓶颈
Loop 在 Harness 之上补上自动发现、验证、持久化与调度,才能填上三个断裂点:
→看不见 → 发现(Connectors + Automations)
→记不住 → 持久化(State + Skills)
→没闭环 → 验证(Sub Agents)
知道了四层楼的关系,接下来具体定义:Loop 层到底包含什么?怎么判断一个任务该不该建 Loop?需要哪些组件?
4 原理:Loop 是让 AI 自己发现工作、
验证结果并记住经验的系统设计方法
前三层解决「AI 能不能做好一件事」,Loop 解决「谁来驱动 AI 持续做事」。 如果你发现自己每天都在手动触发 Agent、审查结果、推进流程——你就是循环里最慢的一环。
Loop 和 Harness 的本质区别: Harness 是一次运行的武装——工具、动作、完成条件。Loop 在 Harness 之上加了定时调度、子 Agent 并行、跨轮记忆三件事。跨越单次对话的记忆,是「循环」和「一次性操作」的分界线。
4.1 Loop 靠发现、交付、验证、
持久化、调度五个动作才能持续运转
图4-1:Loop 五动作闭环——
缺验证或调度,循环退化为一次性 prompt
发现(找出该做的事)→ 交付(隔离交给 Agent)→ 验证(换个 Agent 说不)→ 持久化(状态写到对话外)→ 调度(一圈圈自动转)。
调度是最后一块拼图: 没有自动化,循环就不是循环,只是一次性操作。
4.2 四格检验:不是所有任务都值得建 Loop
五个动作描述了 Loop 怎么转,但还有一个前置问题——该不该建。建 Loop 有 setup 成本(写 Skill、接 Connectors、调验证器),不是所有场景都值得投入。
四格检验:任务会重复、验证能自动化、Token 预算可承受、Agent 有高级工程师的工具——四格全满才值得建 Loop。 我们的日志诊断场景逐条验证:每天跑(重复)、334 条测试 + 6 层验证(自动化)、单次耗费可预估(预算)、SLS + Langfuse + Pipeline 全通(工具齐备)。反例:一次性架构评审、「提升用户体验」这类目标模糊的探索——任一条件缺失就不该建 Loop。
4.3 六个组件如何拼成一个完整的 Loop 闭环
Loop 要转起来,需要六个配合的零件——Connectors(感知)、Automations(驱动)、Skills(SOP)、Worktrees(隔离)、Sub Agents(裁判)、State(记忆)。它们按依赖顺序拼成闭环:
图4-2:六个组件协作架构——
Connectors 决定感知上限,State 决定复利斜率
五个动作映射到六个组件:发现靠 Connectors + Automations,交付靠 Skills + Worktrees,验证靠 Sub Agents,持久化靠 State,调度靠 Automations。实施依赖顺序: Connectors(地基)→ Automations → Skills → Worktrees → Sub Agents → State。缺一个,后面的都站不住。
5 实践:从日志扫描到预发部署,
我们如何落地全自主 Loop
这不是 Demo,而是每天在跑的生产系统。 系统每天自动扫描 10+ 项目日志,自主发现、定位、修复、验证、发布。
上周一次真实运转:
验证失败时,修复 Skill 自动进入下一轮(分析失败原因 → 调整补丁 → 重跑测试),最多 3 轮。上周三连接池补丁导致 2 个单测失败,第 2 轮更新 mock 参数后通过。第 3 轮仍失败则自动停止并推送钉钉工单给 Owner——不在错误方向上无限重试。
阶段 | 传统方式 | 我们的 Loop | 提升 |
发现 | 值班同事第二天看日志 | 5 分钟内自动告警 + 每日全量扫描 | 天级 → 分钟级 |
诊断 | 人工复制日志喂 AI,两三天覆盖 Top 3-5 | 8 阶段结构化诊断,48 分钟全部根因定位 | 覆盖率从 Top 5 → 全量 |
修复 | 人写补丁、跑测试、提 CR | 自动生成补丁 → 跑 334 个测试 → 提交 | 人工半天 → 自动 15 分钟 |
验证 | 修复者自己说「好了」 | 6 层独立验证,修复者不能给自己打分 | 消灭假修复 |
发布 | 手动部署 + 人工检查 | 自动部署预发 → 集成测试 → Trace 验证 → 钉钉推送 | 全自动到预发 |
沉淀 | 关掉对话就忘了 | 修复方案自动写入知识库,同类问题从 48min 降到 15min | 经验可复用 |
表5-1:传统方式 vs. Loop 全流程对比
(发现、诊断、修复、验证、发布、沉淀六阶段)
5.1 Connectors 用 MCP 打通日志、
追踪与发布,让 Agent 看见线上世界
Connectors 排第一,因为 Agent 默认只能看见本地文件系统。 没有工具接入,后面所有组件都是空中楼阁。
图5-1:Connectors 六层架构——
没有跨库 trace,Agent 只能做单表搜索
9000+ 行工具链搭了 6 层连接器(数据访问 → 模型追踪 → 发布 → 通知 → 验证 → 基础设施),让 Agent 具备完整的线上感知和操作能力。
日志查询是 Connectors 层最核心的能力。 1280 行脚本(sls_logquery_tools.py)提供 7 个子命令,数据分散在 3 个 Logstore 中:
Logstore | 记录什么 | 典型字段 |
agent_log | API 入口、Agent 路由、Python 异常 |
|
mcp_client_log | MCP 工具执行详情、耗时 |
|
mcp_server_log | 工具调用链、入参出参 |
|