AIOps落地:上百台主机巡检,AI几分钟搞定,我是怎么做的


研究AIOps已有1年,目前手里有不少可落地的方案了,而且目前我们已经有了自研的AIOps平台,欢迎关注并与我链接(看底下留言)。

前阵子有个同学提了个需求,他想针对几百台主机做巡检同时做故障排查。我第一时间想到的是Dify + Ansible,在我看来这已经是非常简单的解决方案了。但这个同学问还有没有更便捷的方案,我想了想,觉得完全可以通过Shell脚本+Python脚本来搞定。

01 | 整体架构

几百台主机  │  ├─ 本地巡检脚本 check.sh  │    └─ 生成巡检结果文件:hostname_时间.txt  │  └─ 定时上传 / 被中心机拉取       │       ▼中心分析机  │  ├─ 汇总所有巡检文件  ├─ 调用 LLM 分析  ├─ 输出问题清单  └─ 对异常主机执行二次排查脚本

02 | 主机侧:放一个巡检脚本

每台机器放一个巡检脚本,例如:

#!/bin/bashHOST=$(hostname)TIME=$(date "+%Y%m%d_%H%M%S")OUT="/tmp/${HOST}_${TIME}_check.txt"{echo "===== 基本信息 ====="echo "hostname: $HOST"dateuptimeuname -aechoecho "===== CPU / Load ====="top -bn1 | head -20echoecho "===== 内存 ====="free -hechoecho "===== 磁盘 ====="df -hdf -iechoecho "===== 网络 ====="ip addrss -antp | head -50echoecho "===== 关键进程 ====="ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head -30echoecho "===== 系统错误日志 ====="journalctl -p err -n 100 --no-pager 2>/dev/nullechoecho "===== dmesg 异常 ====="dmesg | egrep -i "error|fail|oom|killed|reset|timeout" | tail -100} > "$OUT"echo "$OUT"

说明:该脚本仅仅是一个参考,具体你要巡检什么,在脚本里增加相关步骤即可。

准备好脚本后,用 cron 每 5 分钟或 10 分钟跑一次:

*/10 * * * * /opt/check.sh

03 | 结果收集方式

最简单有两种,建议先选一种。

方案 A:主机主动上传

每台机器巡检后上传到中心机:

scp "$OUT" ops@10.0.0.10:/data/host-check-results/

优点:简单直接。
缺点:每台机器要配置 SSH key。

方案 B:中心机统一拉取

中心机定时用 Ansible 或 SSH 拉取:

ansible all -m shell -a "/opt/check.sh"ansible all -m fetch -a "src=/tmp/latest_check.txt dest=/data/host-check-results/ flat=yes"

优点:中心化管理。

缺点:需要维护主机清单。

如果要“非常简单”,我建议用:中心机 + Ansible + Shell 脚本 + 文件目录

暂时不需要数据库、不需要消息队列、不需要复杂平台。

04 | 中心机调用 LLM 分析

中心机上写一个简单 Python 脚本,核心目标是调用大模型(比如DeepSeek)来分析巡检结果:

from pathlib import Pathfrom openai import OpenAIimport datetime
# ==========================# DeepSeek API配置# ==========================
client = OpenAI(    api_key="你的_DEEPSEEK_API_KEY",    base_url="https://api.deepseek.com")
# ==========================# 巡检结果目录# ==========================
CHEC…
— 以上为试看内容(约 40%),开通会员后阅读全文 —