Zabbix运维监控系统与AI大模型交互实践分享
本文为Zabbix监控系统与AI大模型的融合提供了清晰的落地路径。作者从环境配置、交互设计、脚本开发到安全风险的全链路解析,逻辑严谨且细节扎实,尤其是对本地大模型资源消耗的量化分析(如显存/内存对比、GPU性能监控数据)具有启发性,对运维团队探索智能化监控很有参考价值。
作者:Conling
某医院信息科基础设施组运维工程师。负责规划建设医院网络系统,网络安全防护架构,数据中心虚拟化集群,容灾备份等。
引言
一、Zabbix告警发送联动大模型的设计
Zabbix 事件通知的配置可以细致到对特定事件所要通知的对象和时间进行规则定义,根据多种属性,例如告警主机、事件级别、事件标记、事件名称等属性去定义需要执行的通知发送动作,采用不同级别的通知方式,包括语音电话、微信信息通知、钉钉信息通知与邮件等方式,直接通知到业务管理员,提升异常事件处理效率。
Zabbix 原生支持以下四种告警媒介:
电子邮箱
短信
自定义报警脚本
Webhook
我们在日常运维中最常用的是自定义的报警脚本方式,通过 Zabbix 调用自定义编写的bash脚本,高度自由地连接云语音平台或 webhook 通知服务。告警脚本在 Zabbix 服务器上执行。这些脚本需要放置于服务器配置文件 zabbix_server.conf 中定义的 AlertScriptsPath 目录下,并具有可执行权限。
图:告警媒介使用脚本类型,调用服务器上存放的信息发送脚本
我们所尝试的 Zabbix 与大模型的交互也是基于报警脚本与大模型 API 接口进行交互,实现报警信息的解读与反馈,最终再发送到微信 webhook 。需要注意的是, 大模型通常需要较高的计算资源,特别是显卡(GPU)显存资源。在尝试部署本地大模型前,需要确保硬件配置足以支持所选择的大模型。
图:Zabbix监控系统架构图
二、环境配置
本地大模型虚拟机配置
CPU:8C
内存:16G
磁盘:100G
直通显卡:NVIDIA GeForce RTX 4090 24G显存
OS:Ubuntu 24.04 LTS
Ollama version:0.1.41
本地大模型:gemma:7b
ZabbixServer虚拟机配置
CPU:16C
内存:24G
磁盘:300G
OS:CentOS Linux 8
资源使用情况分析
在本地环境中,显卡的强大并行计算能力、高效的显存以及完善的生态系统,使其成为大模型运行时的主要资源依托。
在此集群中,大模型的启动过程主要依赖磁盘读性能,将大模型数据加载到显存中。运行中的大模型会在显存中持续存放, ollama 默认设置大模型闲置5分钟会被释放,可通过设置OLLAMA_KEEP_ALIVE控制大模型的存活时间,大模型不需要反复从磁盘加载,可以快速响应服务请求。
运行中的大模型,主要占用显卡计算资源与显存资源,对系统 CPU、内存与 SWAP 空间等资源的依赖不高。CPU 虽然通用性强,但核心数量相对较少,在处理这种大规模并行计算任务时效率远低于 GPU。显卡能够充分发挥其并行计算优势,大幅提升计算速度,满足大模型对计算资源的高需求
图:DeepSeek-r1:14b启动过程中的磁盘IO记录
图:本地 deepseek-r1:14b大模型服务器的显卡资源使用率
图:本地同时运行 deepseek-r1:14b与gemma:7b服务器的显卡资源使用率
显存与内存运行本地大模型的差异
速度性能方面
• 显存:专门为图形处理和高速数据读写设计,带宽高、延迟低。大模型运行时,显存能快速传输数据给 GPU 进行计算,尤其在处理大规模矩阵运算等任务时, 能显著提升推理和训练速度,适合对实时性要求高的场景。例如运行复杂的图像生成大模型,显存可让生成过程更流畅快速。
• 内存:速度相对显存较慢,数据读写速度和带宽不如显存。当大模型运行在内存时, CPU 从内存读取数据进行计算,传输速度限制可能导致计算等待数据时间长,影响整体运行效率。
容量和成本方面
• 显存:容量通常相对较小,常见的消费级显卡显存为 8GB - 24GB 等,专业级显卡显存可达更高,但价格昂贵。大模型参数量和数据量大时,显存可能不够用,需使用多张显卡或更高端显卡,成本大幅增加。
• 内存:容量相对较大且价格相对较低,常见电脑内存有 16GB、32GB 甚至更高,能满足一些规模较小或经过优化的大模型运行需求。
硬件依赖和适用场景方面
• 显存:依赖GPU,需要有支持 CUDA 等计算平台的 NVIDIA 显卡等硬件环境。适合有强大 GPU 硬件且对性能要求高的场景,如专业的 AI 研究、企业级大模型推理应用等。
• 内存:主要依赖 CPU,只要计算机有合适的 CPU 和足够内存即可运行。适用于对性能要求不特别高、硬件资源有限或模型规模较小的场景,如个人学习和简单测试等。
本地大模型推荐使用Ubuntu操作系统
优点:
• 广泛使用:Ubuntu是机器学习和数据科学领域使用最广泛的操作系统之一,拥有大量的文档和教程。
• NVIDIA支持:NVIDIA 提供对 Ubuntu的良好支持,包括驱动、CUDA和cuDNN的安装包和文档。
• 软件包管理:apt包管理器使得软件安装和管理变得容易。
版本建议:Ubuntu 22.04 LTS 或 24.04 LTS:长期支持版本,具有较长的支持周期和稳定性。
三、配置步骤
3.1 大模型运行
安装本地大模型运行环境
curl -fsSL https://ollama.com/install.sh | sh
拉取gemma:7b模型并运行,进行运行测试
ollama pull gemma:7bollama run gemma:7b#此时离开大模型对话窗口会自动关闭大模型的运行
附录:常用大模型
模型仓库:https://ollama.com/library?sort=featured
3.2 对外提供接口服务
ollama默认只能localhost访问。
如果需要允许外网访问,需要修改环境变量,采用11434监听本机的所有IP地址,配置防火墙放行后即可通过其他IP地址访问大模型接口。
vi /etc/systemd/system/ollama.service[Service]ExecStart=/usr/local/bin/ollama serveUser=ollamaGroup=ollamaRestart=alwaysRestartSec=3Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"Environment="OLLAMA_KEEP_ALIVE=24h"Environment="OLLAMA_NUM_PARALLEL=4"Environment="OLLAMA_HOST=0.0.0.0:11434"#保存#重启ollama服务使生效systemctl daemon-reloadsystemctl restart ollama
如果不想对外开放大模型接口,也可以使用Web Service,采用接口转发的方式,将指定的http post请求发送到本地大模型接口,并进行响应。
参考代码:
cd /opt/datacenter_assistant/python3 app.pyfrom flask import Flask, request, jsonifyimport requestsapp = Flask(__name__).route('/predict', methods=['POST'])def predict():input_data = request.jsonresponse = requests.post('http://localhost:11434', json=input_data)return jsonify(response.json())if __name__ == '__main__':app.run(host='0.0.0.0', port=5000)
3.3 身份定义,内容格式定义
prompt 是用户向大模型输入的一段文本,作为大模型生成文本的起始信息或指导信息。它是用户与大模型之间沟通的关键媒介,决定了大模型的输出方向和内容范围。使用 prompt 时需要注意以下几点:
• 明确性:prompt 越明确,大模型的输出越可能符合用户期望。模糊的 prompt 可能导致大模型的输出难以满足用户需求。
• 多样性:可以尝试不同的 prompt 表达方式,因为大模型对不同表述的理解可能有所差异,通过尝试找到最能满足需求的表述。
• 实验性:由于大模型的输出会因 prompt 的细微差异而不同,所以对于一些复杂任务,可以多尝试不同的 prompt 来获取最佳效果。
对本地大模型设置恰当的 prompt 可以提升大模型的交互质量,下面是目前我在用的prompt,对大模型进行了身份定义,场景定义,返回内容格式的定义。
vi ModelfileFROM gemmaSYSTEM """使用中文对话,你是医院的数据中心维护人员,拥有专业的信息系统运维技术,现在有一些数据中心发生的故障需要你给出处理建议,每一个故障事件相互独立,处理建议应简要,且围绕问题出发。回答的内容使用固定的话术模板“故障概述:,故障描述:,可能原因:,可能影响:,解决方案:,下一步:。”"""#基于prompt创建本地大模型olla…