当 Agent 替你值班:基于 Devix 构建 7x24 自动化运维 Harness Engineering
阿里妹导读
这篇文章记录了我们如何在 Devix 上构建一套 7x24 自动化运维系统——通过 Harness Engineering 为 AI Agent 建立可控的工程框架,使其能诊断故障、分级决策、自动处置,并从历史经验中持续进化。
(文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。)
一、凌晨两点的报警,你还在手动排查吗?
凌晨两点,手机响了。钉钉运维群里弹出一条「DataWorks 自定义报警」。没有错误原因,没有日志摘要,只有一行实例名称和ID,状态:Failed。
你知道该走什么流程:打开 DataWorks 运维中心 → 搜索这个实例 ID → 点进去看运行日志 → 日志里看到一些报错关键词但不够精确 → 再去 Logview 里翻 ODPS 引擎层的详细错误 → 终于定位到是 ODPS-0730012: CupidError... kube master stop → 判断是 Cupid Kubernetes 控制面瞬时抽风 → 确认这个节点是工作流内层的子节点,需要找到外层周期实例来重跑 → 执行重跑 → 在群里回一句“已处理”。
这不是最痛苦的。最痛苦的是——同一个错误这周出现过三次,每次都是你爬起来重跑的。
这就是我们阿里控股集团——消费者认知团队的日常,我们主要负责集团流量识别和消费者理解等核心基建能力的建设与运维。背后是几十个项目空间、数千个调度节点,任何一个环节出问题都可能影响下游数据产出。而我们的运维模式长期依赖人工值班,核心痛点可以总结为三个词:
痛点 | 具体表现 |
慢 | 从告警到人工响应平均 15-30 分钟,凌晨更久;日志需要层层获取,排查链路长 |
重复 | 同类故障反复出现,每次都要重新走一遍完整的排查流程 |
断层 | 老手的排查经验停留在脑子里,新人上手门槛高 |
现有的 AI 运维工具已经能做到基础的日志解析和错误提取,但它们缺乏对具体业务的理解——能告诉你“DAG failed”,但无法结合垂域业务各层级之间的依赖关系、JSON 配置的业务语义、以及历史处理经验来判断真正的根因和最合适的处置方式。
AI 把日志当文本读,人在把日志当业务读。这中间差的不是工具,是领域知识和工程化驾驭能力。
所以我们决定自己造一个。
二、给 Agent 套上缰绳:
Harness Engineering 的设计哲学
造之前,我们先想清楚了一个问题:Agent 到底能不能干运维?
答案是:能,但不能放手让它干。
Agent 有两个致命问题:一是不稳定——同一个错误给它看两次,它可能给出不同的诊断;二是没记性——每次对话都是新的一天,上周处理过的同类故障它完全不记得。
这两个问题在聊天场景下无伤大雅,但在运维场景下是致命的。你不能接受 Agent 在凌晨“创造性地”做了一个错误决策,把核心节点的代码改了。
所以我们引入了 Harness Engineering 的理念——用工程化的手段来驾驭 Agent,让它在一个可控的框架内发挥作用。核心设计原则是三句话:
Agent 负责语义理解与决策推理,脚本负责数据召回与动作执行:发挥 Agent 的语义优势做诊断和决策,但所有数据获取和动作执行由确定性脚本完成
用置信度换自动化程度:高置信度全自动,中等置信度人工确认,低置信度升级处理
让系统从自己的经验中学习:每次诊断结果沉淀为案例,案例反馈到决策过程,规则库持续进化
最终的系统架构可以浓缩为一句话:
告警触发 → Agent 智能诊断 → 分级决策引擎 → 自动处置 / 人工确认 → 结果追踪 → 案例沉淀 → 规则进化
三、系统架构:基于 Devix 的运维闭环
3.1 为什么选择 Devix
自动化运维有两个硬性要求:一是 7x24 小时不间断运行,不能依赖任何人的本机;二是需要承载钉钉交互回调等公网中转服务。
我们评估了几个方案:
方案 | 7x24 运行 | 公网服务 | 消息通知 |
Qoder / 悟空 | 依赖本机 | 无 | 不可交互 |
Devix | 云端常驻 | 公网端点 | 可交互 |
Devix[1]是阿里控股集团——Aone团队推出的一站式 AI Native 研发平台,其提供云端常驻 Sandbox 环境和 Agent 能力,天然支持全天候无人值守运行和公网服务部署。我们最终选择 Devix 作为整个运维 Agent 的运行载体。
3.2 整体架构
系统由三个协同工作的组件构成,通过钉钉群进行信息协同和人机交互,形成从故障发现到恢复确认的完整闭环:
组件 | 部署方式 | 核心职责 |
监控脚本 | Devix 独立脚本轮询 | 轮询各项目空间的失败实例,推送告警并触发中转服务 |
中转服务 | Python Flask 常驻 Sandbox | 接收告警、触发诊断、承载重跑回调、轮询实例状态 |
诊断 Skill | Devix Agent 能力模块 | 解析日志、匹配错误模式、生成结构化诊断报告 |
端到端的数据流是:监控脚本发现故障 → 推送钉钉告警 + 转发至中转服务 → 触发 Agent 诊断 → 决策引擎分级处置 → 钉钉交互通知 → 后台轮询追踪结果 → 失败则重新触发,形成闭环。
阶段 1:线上监控与告警触发
监控脚本持续轮询各项目空间的失败实例。任务失败时,同时执行两个动作:向钉钉运维群推送告警消息,以及向中转服务 POST 告警内容。
阶段 2:Agent 智能诊断
中转服务接收告警后,触发 Agent 调用诊断 Skill,自动执行:获取实例信息 → 层层深入获取日志和引擎层精确错误 → 检查代码变更与上游依赖 → 追溯调度链路 → 结合知识库生成结构化诊断报告和诊断结论。
阶段 3:分级决策与执行
决策引擎接收诊断结论,经过规则匹配、案例库查询和置信度调整后输出分级处置动作。脚本根据动作类型执行:自动重跑、发送交互式钉钉卡片、或触发代码修复流程。
阶段 4:钉钉通知推送
诊断完成后向钉钉群发送 ActionCard 交互卡片,包含诊断摘要和操作按钮。
阶段 5:结果追踪与闭环
后台轮询线程持续监控实例状态;重跑成功或失败均推送最终通知到钉钉群;若重跑后再次失败,重新触发告警和诊断流程,形成循环处理。
3.3 真实故障的完整交互链路
阶段\case示例 | case 1:自动重跑 | case 2:代码修复 |
检测到报错 | ||
agent 诊断结果 | ||
agent 执行 | ||
节点恢复 |
四、Agent 诊断:
从告警到根因的完整推理链
我们将诊断能力封装为一个 Agent Skill,当中转服务收到告警时,通过触发词自动调用该 Skill 执行诊断。
4.1 诊断引擎做了什么
Agent 诊断是整个系统的“第一层”。但我们的诊断不是简单地让 LLM 读日志然后猜原因——那和现有工具没有区别。我们让 Agent 像真正的运维工程师一样执行一套完整的诊断流程:
实例信息采集:通过 DataWorks OpenAPI 查询失败实例的完整信息,包括负责人、优先级、运行时长
日志智能解析:自动识别 SQL / Cupid / Mixed 三种日志类型,结构化提取错误信息
深层错误获取:通过 ODPS REST API 深入获取计算引擎层 Task 级别的精确错误——很多关键信息在 DataWorks 日志里是看不到的
关联分析:检查代码变更、运维操作记录、上游依赖状态
调度链路追溯:自动定位正确的重跑目标(外层周期实例 > 根工作流实例 > 当前实例)
知识库检索:结合垂域领域知识库,理解节点间的依赖关系和业务语义
4.2 诊断报告:给人看的 + 给机器用的
诊断完成后,Agent 同时输出两份文件,分别服务于不同受众:
输出 | 格式 | 受众 | 用途 |
诊断报告 | Markdown | 人 | 完整的故障分析、日志证据、修复建议,推送到钉钉群 + GitLab 归档 |
诊断结论 | JSON | 决策引擎 | 结构化字段:错误模式、环境上下文、置信度、修复提案 |
诊断结论 JSON 是连接诊断和决策的核心桥梁,包含以…