迈向生产级 AgenticOps:STAROps 如何构建可泛化的根因定位能力
谈到 AgenticOps,可能很容易先看 Agent 接了多少工具,能不能自动巡检、生成修复方案,甚至直接执行变更。
而在 STAROps 的建设中,我们更关心另一个问题:它判断的根因到底对不对?
我们认为 RCA 是 AgenticOps 的核心,因为它直接决定了后面的每一步应该对谁、做什么。根因一旦判断错误,影响评估、修复方案、变更执行和结果验证都会围绕错误对象展开。当 Agent 只能给建议时,错误的 RCA 会浪费工程师的时间;当 Agent 获得了执行权限,错误的 RCA 就会变成生产风险。
RCA 决定行动的方向,其他能力决定这个方向能执行多快、走多远。
根因判断错了,后面的动作都会错
Cloud Native
告警通常只能告诉我们哪个指标越过了阈值,不能直接告诉我们故障从哪里开始。
一个前端接口出现 5xx,可能是前端代码出了问题,也可能是下游数据库变慢、缓存不可用、节点资源耗尽,或者刚刚发生的一次配置变更。CPU 高也不一定是根因,它可能是流量突增的结果,也可能伴随着 Full GC、线程池耗尽或异常循环。
这些区别会直接改变处置方向。把节点资源问题判断成应用容量不足,可能会继续扩容运行在故障节点上的 Pod;把慢 SQL 判断成前端代码缺陷,可能会推动一次没有作用的代码回滚;把 Deployment 被误缩容后的流量下降判断成网络问题,排查团队就会从一开始走错方向。
通用 Agent 已经能够查询很多数据,也能生成结构完整、读起来很合理的分析报告。问题在于,一份报告写得完整,不代表它找到了真正的故障对象。Agent 如果停在告警位置,或者把传播过程中的强异常当成根因,后面的推理越充分,错误结论反而越容易让人相信。
为什么 POC 证明不了根因定位能力
Cloud Native
通常团队在做根因定位验收时,只会选择几类已知故障。比如准备一个 Pod CrashLoop、一个慢 SQL、一次 Redis 不可用,再看系统能不能按照预期给出答案。
这种验收方式很正常。题目明确、结果可核对,能够快速确认数据、工具和产品链路是否跑通。但它证明的是系统做通了 A、B、C 三类场景,还不能说明遇到第 D 类故障时,系统仍然知道该往哪里查。
如果每类告警都绑定一个 Skill 或工作流,POC 的结果通常会很好。告警类型、调查入口、查询顺序和预期答案都已经提前给定,Agent 只需要在设计好的路径中完成任务。换一种告警,或者让同一种故障从另一个业务位置暴露出来,原来的路径就可能失效。
这并不意味着 Skill 没有价值。资深 SRE 会知道“看到延迟先查哪几个指标”“什么情况下必须看变更”“哪些症状容易把人带偏”,这些经验当然应该沉淀下来。Skill 更适合提供调查线索和检查清单,帮助 Agent 少走弯路;它不应该成为 RCA 能力的边界。
真正的生产故障没有固定剧本
Cloud Native
然后,真正到了生产环境,故障的种类和情况会多得多。问题可能出现在应用、容器、节点、数据库、缓存、网络,也可能来自一次发布、扩缩容或配置修改。系统拓扑一直在变,数据不一定完整,几个异常还可能在同一个时间窗口出现。
同一种告警背后可以是完全不同的原因。同一个根因,也可能在不同系统中触发不同告警。根因在数据库,告警可能打在前端;根因在 Node,最先被用户看到的可能是某个业务接口流量下降。真实故障经常跨越多个数据域,沿着调用、部署和宿主关系一路传播。
这里所说的泛化,不是要求一个模型知道所有故障答案。更现实的标准是:没有完全匹配的工作流时,Agent 仍然知道如何开始调查。它能先确认告警指向哪个对象,再沿关系找到相关服务和资源;发现多个候选后,会补充证据、检查时间顺序、排除解释不了现象的假设;证据不够时,它也知道应该停下来,而不是勉强给出一个根因。
故障场景无法穷举,但调查问题的基本方法可以复用。STAROps 要构建的,正是这种面对新故障仍然能够推进和收敛的能力。
STAROps 如何把 RCA 做成一项系统能力
Cloud Native
既然生产故障无法靠场景清单覆盖,建设重点就不能只是继续增加工作流。STAROps 把精力放在调查本身:Agent 如何理解当前系统,如何决定下一步查什么,如何证明结论可靠,以及如何从线上失败中继续改进。
▍先把系统看明白:UModel
很多 RCA 调查在第一步就可能走偏,因为不同系统对同一个对象使用了不同名字。
一个业务服务,在 APM 里是 Service,在 Trace 里是一组 Span,在 Kubernetes 里对应 Deployment 和 Pod,继续向下还会落到 ECS 或 Node。日志、指标、变更记录也各自使用不同字段。没有统一的对象关系,Agent 只能根据名称和上下文临时猜测,很容易把同一个对象拆成多个对象,或者把相邻对象误认为根因。
UModel 先把这些对象和关系组织起来。它记录服务运行在哪些 Pod 上、Pod 属于哪个 Deployment、宿主节点是谁、服务依赖哪些数据库,以及相关指标、日志和 Trace 应该从哪里查询。
这样做的直接作用,是让 Agent 知道自己正在查谁。从业务接口向下定位到 Service、Pod 和 Node,或者从一次变更向外分析受影响服务,都有明确关系可以沿用。模型负责提出假设和理解证据,UModel 提供稳定的系统地图。