AIOps落地:上百台主机巡检,AI几分钟搞定,我是怎么做的
研究AIOps已有1年,目前手里有不少可落地的方案了,而且目前我们已经有了自研的AIOps平台,欢迎关注并与我链接(看底下留言)。
前阵子有个同学提了个需求,他想针对几百台主机做巡检同时做故障排查。我第一时间想到的是Dify + Ansible,在我看来这已经是非常简单的解决方案了。但这个同学问还有没有更便捷的方案,我想了想,觉得完全可以通过Shell脚本+Python脚本来搞定。
01 | 整体架构
几百台主机 │ ├─ 本地巡检脚本 check.sh │ └─ 生成巡检结果文件:hostname_时间.txt │ └─ 定时上传 / 被中心机拉取 │ ▼中心分析机 │ ├─ 汇总所有巡检文件 ├─ 调用 LLM 分析 ├─ 输出问题清单 └─ 对异常主机执行二次排查脚本
02 | 主机侧:放一个巡检脚本
每台机器放一个巡检脚本,例如:
#!/bin/bashHOST=$(hostname)TIME=$(date "+%Y%m%d_%H%M%S")OUT="/tmp/${HOST}_${TIME}_check.txt"{echo "===== 基本信息 ====="echo "hostname: $HOST"dateuptimeuname -aechoecho "===== CPU / Load ====="top -bn1 | head -20echoecho "===== 内存 ====="free -hechoecho "===== 磁盘 ====="df -hdf -iechoecho "===== 网络 ====="ip addrss -antp | head -50echoecho "===== 关键进程 ====="ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head -30echoecho "===== 系统错误日志 ====="journalctl -p err -n 100 --no-pager 2>/dev/nullechoecho "===== dmesg 异常 ====="dmesg | egrep -i "error|fail|oom|killed|reset|timeout" | tail -100} > "$OUT"echo "$OUT"说明:该脚本仅仅是一个参考,具体你要巡检什么,在脚本里增加相关步骤即可。
准备好脚本后,用 cron 每 5 分钟或 10 分钟跑一次:
*/10 * * * * /opt/check.sh
03 | 结果收集方式
最简单有两种,建议先选一种。
方案 A:主机主动上传
每台机器巡检后上传到中心机:
scp "$OUT" ops@10.0.0.10:/data/host-check-results/
优点:简单直接。
缺点:每台机器要配置 SSH key。
方案 B:中心机统一拉取
中心机定时用 Ansible 或 SSH 拉取:
ansible all -m shell -a "/opt/check.sh"ansible all -m fetch -a "src=/tmp/latest_check.txt dest=/data/host-check-results/ flat=yes"
优点:中心化管理。
缺点:需要维护主机清单。
如果要“非常简单”,我建议用:中心机 + Ansible + Shell 脚本 + 文件目录
暂时不需要数据库、不需要消息队列、不需要复杂平台。
04 | 中心机调用 LLM 分析
中心机上写一个简单 Python 脚本,核心目标是调用大模型(比如DeepSeek)来分析巡检结果:
from pathlib import Pathfrom openai import OpenAIimport datetime# ==========================# DeepSeek API配置# ==========================client = OpenAI(api_key="你的_DEEPSEEK_API_KEY",base_url="https://api.deepseek.com")# ==========================# 巡检结果目录# ==========================CHEC…