研究Aiops有一段时间了,目前手里有不少可落地的方案了,接下来会把这些方案全部整理到我的大模型课程里。同时,欢迎大家把你遇到的场景在评论区留言。我会在能力范围内给你提供思路和建议。
今天收到一个同学的需求,想着做一个用来巡检的智能体。
我基于这个需求做了一个初版的方案,思路是这样的:1、数据采集层:
1)在每台需要巡检的虚拟机上部署 node_exporter,它会暴露机器的硬件和操作系统指标(CPU、内存、磁盘等)。2)Prometheus Server 定期从所有``node_exporter 拉取数据并存储。2、自动化与报告层:
1)定时触发: 每天早上(例如 8:00)通过``Cron 节点自动启动工作流。2)数据查询:n8n 通过 HTTP 请求调用 Prometheus 的 API,查询所有虚拟机的关键指标。3)数据处理与判断:n8n 将查询到的数据进行处理,并根据预设的阈值判断各项指标是否正常。4)报告生成:n8n 将处理后的数据动态生成一个 HTML 表格,对异常指标进行标红或标黄。5)报告发送:n8n 通过邮件(或其他方式如 Slack、钉钉)将生成的 HTML 报告发送给指定的收件人。
以下是n8n的工作流各节点说明:
节点 1: Cron Trigger (定时触发器)
这是工作流的入口,负责每天早上自动启动。
- 节点类型: Schedule Trigger
- **规则:每天早上 8 点触发:0 8 * * ***
节点 2: HTTP Request (获取所有实例列表)
我们首先需要知道当前有哪些虚拟机在监控中。通过查询 Prometheus 的 up 指标可以轻松获取。
- 节点类型:
HTTP Request 配置:- Method:
GET - URL:
http://<你的PrometheusIP>:9090/api/v1/query **Query Parameters:**-
**query: up{job="vms"} (这里的 vms 就是 prometheus.yml 中定义的 job_name)** -
**Options: 确保 Response Format 为 JSON。**
节点 3: Set (处理实例列表)
上一个节点返回的数据比较复杂,我们只需要提取出虚拟机的实例名(通常是 IP:端口)。
- 节点类型: Set
- 配置:
- 勾选 Keep Only Set,替换掉原有数据。
- Set Key:
instance - Value:
{{ $json.metric.instance }}(这会从每个返回的数据项中提取instance字段) - Additional Fields: 可以添加一个
job字段,值为{{ $json.metric.job }},方便后续使用。
节点 4: Split In Batches (分批处理)
我们需要对每一台虚拟机分别查询其详细指标。这个节点可以帮我们遍历实例列表。
- 节点类型:
Split In Batches 配置:Batch Size: 1 (每次处理一台虚拟机)Options: 勾选 Reset,这样每次工作流运行都会从头开始处理。
节点 5: HTTP Request (查询单台VM的所有指标)
这是核心查询节点。它在循环中为每一台虚拟机执行一次。
- 节点类型:
HTTP Request - 配置:
- query: 我们将使用一个复杂的 PromQL 查询一次性获取所有需要的指标。这个查询会返回一个向量,包含 CPU、内存、磁盘使用率等。
- Method: GET
- URL: http://<你的PrometheusIP>:9090/api/v1/query
- Query Parameters:
query: 我们将使用一个复杂的 PromQL 查询一次性获取所有需要的指标。这个查询会返回一个向量,包含 CPU、内存、磁盘使用率等。
( label_replace( label_replace( label_replace( label_replace( label_replace( (100 - (avg by (instance) (irate(node_cpu_seconds_total{mode="idle",instance="{{ $node["Set"].json["instance"] }}"}[5m])) * 100)), "cpu_usage", "$1", "instance", "(.*)" ), "memory_usage", "$1", "instance", "(.*)" ), "disk_usage", "$1", "instance", "(.*)" ), "load1", "$1", "instance", "(.*)" ), "read_iops", "$1", "instance", "(.*)")or( (1 - (node_memory_MemAvailable_bytes{instance="{{ $node["Set"].json["instance"] }}"}} / node_memory_MemTotal_bytes{instance="{{ $node["Set"].…