Kimi-K2.5
RTX 6000 PRO x 8 私有化部署教程
「从零开始,手把手教你把Kimi请回家」
Ubuntu + Docker + vLLM | 包含 Docker 单命令 & Docker Compose 两种方式
| 系统 Ubuntu 22.04+ | 显卡 RTX 6000 PRO x 8 | 显存 单卡 96GB / 总 768GB |
|---|---|---|
一、开篇:这篇文章能帮你什么?
最近 Kimi-K2.5 模型火了,性能强悍,开源免费。很多朋友想把它部署到自己的服务器上,既保护数据隐私,又能随意折腾。但一看部署文档——一堆命令行参数,头大了。
别急!这篇教程就是你的“救命稻草”。我们会用最通俗的语言,手把手带你完成以下操作:
•环境准备:安装 Docker、NVIDIA 驱动、NVIDIA Container Toolkit
•下载模型:把 Kimi-K2.5 模型文件下载到服务器
•方式一:用一条 docker run 命令直接起飞
•方式二:用 Docker Compose 优雅管理,适合长期运维
•验证测试:确认服务起来了,而且好用
适合谁读? 有一台装了 8 张 RTX 6000 PRO 显卡的 Ubuntu 服务器,想拿它跑 Kimi-K2.5 的同学。哪怕你是“命令行新手”,跟着做就行!
二、环境准备:“磨刀不误砍柴工”
在跑模型之前,我们得先把“地基”打好。主要包括三件事:NVIDIA 驱动、Docker 和 NVIDIA Container Toolkit。
2.1 确认 NVIDIA 驱动已安装
先看看你的显卡驱动装好了没有,运行以下命令:
nvidia-smi
如果能看到 8 张 RTX 6000 PRO 整整齐齐地排列,恭喜,说明驱动没问题。如果报错,请先安装 NVIDIA 驱动(推荐 550+):
sudo apt updatesudo apt install -y nvidia-driver-550sudo reboot # 重启后再次运行 nvidia-smi 确
2.2 安装 Docker
如果还没装 Docker,执行以下命令(官方推荐方式):
## 卸载旧版本(如果有的话)sudo apt remove docker docker-engine docker.io containerd runc# 安装依赖sudo apt updatesudo apt install -y ca-certificates curl gnupg lsb-release# 添加 Docker 官方 GPG keysudo install -m 0755 -d /etc/apt/keyringscurl -fsSL https://download.docker.com/linux/ubuntu/gpg \| sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg# 添加仓库echo "deb [arch=$(dpkg --print-architecture) \signed-by=/etc/apt/keyrings/docker.gpg] \https://download.docker.com/linux/ubuntu \$(lsb_release -cs) stable" \| sudo tee /etc/apt/sources.list.d/docker.list > /dev/null# 安装 Dockersudo apt updatesudo apt install -y docker-ce docker-ce-cli \containerd.io docker-compose-plugin
小贴士 安装完成后运行 docker --version 确认版本。建议把当前用户加入 docker 组,这样不用每次都加 sudo:sudo usermod -aG docker $USER,然后重新登录。
2.3 安装 NVIDIA Container Toolkit
这个工具让 Docker 容器能“看到”你的 GPU。没有它,容器里的模型就是个“瞎子”,有显卡也用不上。
## 添加仓库distribution=$(. /etc/os-release;echo $ID$VERSION_ID)curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpgcurl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list \| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list# 安装sudo apt updatesudo apt install -y nvidia-container-toolkit# 配置 Docker 运行时sudo nvidia-ctk runtime configure --runtime=dockersudo systemctl restart docker
验证一下是否成功:
docker run --rm --gpus all nvidia/cuda:12.3.0-base-ubuntu22.04 nvidia-smi
如果能看到熟悉的 nvidia-smi 输出,恭喜你,GPU 已经在 Docker 里“上线”了!
三、下载模型:“把Kimi请回家”
Kimi-K2.5 是个“大家伙”,模型文件体积不小。我们需要把它下载到服务器的 /data/Kimi-K2.5 目录下。
3.1 使用 Hugging Face CLI(推荐)
## 安装 huggingface_hubpip install -U huggingface_hub# 创建目录sudo mkdir -p /data/Kimi-K2.5# 下载模型(具体仓库名以官方为准)huggingface-cli download moonshotai/Kimi-K2.5 \--local-dir /data/Kimi-K2.5
3.2 使用 modelscope(国内社区,更快)
pip install modelscopemodelscope download --model moonshotai/Kimi-K2.5 \--local_dir /data/Kimi-K2.5
⚠️ 注意 模型文件很大,下载可能需要较长时间。建议使用 screen 或 tmux 在后台运行,避免 SSH 断开导致下载中断。另外,确保 /data 分区有足够的磁盘空间(至少预留 500GB+)。
四、方式一:Docker Run “一键起飞”
这是最简单粗暴的方式,一条命令搞定。适合快速测试和“先跑起来再说”的场景。
4.1 启动命令
复制以下命令,粘贴到终端执行:
docker run -d \--runtime nvidia \--gpus all \--name kimi-k25-0203 \-e SAFET…