研究Aiops有一段时间了,目前手里有不少可落地的方案了,接下来会把这些方案全部整理到我的大模型课程里。同时,欢迎大家把你遇到的场景在评论区留言。我会在能力范围内给你提供思路和建议。
今天的案例是基于dify做一个专门用来做故障诊断和根因分析的智能体,目前我还没有正式验证,只是有一个大概的思路。等验证完,我会将该案例相关的实操文档和视频放到课程中。
一、核心思路和架构
1. 核心思路1)感知:统一告警入口
- Prometheus 检测异常指标,触发结构化告警
- Alertmanager 聚合、去重后,通过 Webhook 推送给智能体
2)上下文增强:不止看告警,更要看现场,自动调用外部系统获取关联信息:
- 日志:(Loki)→ 错误堆栈、异常模式
- 运行时状态:(K8s API)→ Pod 事件、重启次数、资源限制
- 业务元数据: (CMDB)→ 所属服务、最近变更、负责人
3)推理:LLM 驱动的根因分析(RCA)
- 将告警 + 上下文作为输入,交给 LLM(通过 Dify)进行推理
- 输出结构化结果:是否真实故障、根因、置信度、修复建议、是否需通知人
4)行动:自动响应 or 人工协同
- 低风险操作 → 自动执行(如删 Pod、扩容)
- 高风险或不确定 → 生成诊断报告,推送至 Slack/钉钉/Jira,支持人工追问
2. 架构图
二、落地指南
阶段 1: 基础环境准备
假设已经有了如下环境:
1)Prometheus:指标采集与告警触发2)Alertmanager:告警路由3)Dify:LLM 驱动的智能推理与决策引擎4)辅助系统:Grafana Loki(日志)、Kubernetes API(上下文)、内部 CMDB(资产信息)
阶段 2: 部署相关MCP
1、部署Grafana MCP(用来查询Loki日志)
步骤略,以前的文章里有介绍过
2、部署k8s MCP(用来获取pod信息)
步骤略,以前的文章里有介绍过
3、部署CMDB MCP
这个需要根据自己使用的CMDB工具来开发合适的MCP工具,这里存在一些不确定性因素
阶段 3: 在 Dify 中配置 MCP 工具
参考以前的发文,将以上三个MCP添加到Dify的MCP工具中心
阶段4:Dify中配置智能体
1、创建新 Workflow
触发方式:HTTP 触发器(Webhook)
2、定义输入变量
| 变量名 | 类型 | 示例 |
|---|---|---|
alert_name |
string | "PodCrashLoopBackOff" |
namespace |
string | "prod" |
po… |