Harness 与 Agent 工程 · AI研发与测试工程 · 2026-02-27

Kimi-K2.5在RTX 6000 PROx8私有化部署教程

想在家部署Kimi-K2.5模型?这篇教程手把手教你用Docker轻松搞定8卡RTX 6000 PRO的私有化部署!

核心内容:

  1. 环境准备:安装NVIDIA驱动、Docker和NVIDIA Container Toolkit
  2. 两种部署方式:单命令Docker运行和Docker Compose管理
  3. 模型下载与验证测试完整流程

Kimi-K2.5

RTX 6000 PRO x 8 私有化部署教程

「从零开始,手把手教你把Kimi请回家」

Ubuntu + Docker + vLLM | 包含 Docker 单命令 & Docker Compose 两种方式

系统 Ubuntu 22.04+ 显卡 RTX 6000 PRO x 8 显存 单卡 96GB / 总 768GB

一、开篇:这篇文章能帮你什么?

最近 Kimi-K2.5 模型火了,性能强悍,开源免费。很多朋友想把它部署到自己的服务器上,既保护数据隐私,又能随意折腾。但一看部署文档——一堆命令行参数,头大了。

别急!这篇教程就是你的“救命稻草”。我们会用最通俗的语言,手把手带你完成以下操作:

•环境准备:安装 Docker、NVIDIA 驱动、NVIDIA Container Toolkit

•下载模型:把 Kimi-K2.5 模型文件下载到服务器

•方式一:用一条 docker run 命令直接起飞

•方式二:用 Docker Compose 优雅管理,适合长期运维

•验证测试:确认服务起来了,而且好用

适合谁读? 有一台装了 8 张 RTX 6000 PRO 显卡的 Ubuntu 服务器,想拿它跑 Kimi-K2.5 的同学。哪怕你是“命令行新手”,跟着做就行!

二、环境准备:“磨刀不误砍柴工”

在跑模型之前,我们得先把“地基”打好。主要包括三件事:NVIDIA 驱动、Docker 和 NVIDIA Container Toolkit。

2.1 确认 NVIDIA 驱动已安装

先看看你的显卡驱动装好了没有,运行以下命令:

nvidia-smi

如果能看到 8 张 RTX 6000 PRO 整整齐齐地排列,恭喜,说明驱动没问题。如果报错,请先安装 NVIDIA 驱动(推荐 550+):

sudo apt updatesudo apt install -y nvidia-driver-550sudo reboot # 重启后再次运行 nvidia-smi 确

2.2 安装 Docker

如果还没装 Docker,执行以下命令(官方推荐方式):

## 卸载旧版本(如果有的话)sudo apt remove docker docker-engine docker.io containerd runc# 安装依赖sudo apt updatesudo apt install -y ca-certificates curl gnupg lsb-release# 添加 Docker 官方 GPG keysudo install -m 0755 -d /etc/apt/keyringscurl -fsSL https://download.docker.com/linux/ubuntu/gpg \| sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg# 添加仓库echo "deb [arch=$(dpkg --print-architecture) \signed-by=/etc/apt/keyrings/docker.gpg] \https://download.docker.com/linux/ubuntu \$(lsb_release -cs) stable" \| sudo tee /etc/apt/sources.list.d/docker.list > /dev/null# 安装 Dockersudo apt updatesudo apt install -y docker-ce docker-ce-cli \containerd.io docker-compose-plugin

小贴士 安装完成后运行 docker --version 确认版本。建议把当前用户加入 docker 组,这样不用每次都加 sudo:sudo usermod -aG docker $USER,然后重新登录。

2.3 安装 NVIDIA Container Toolkit

这个工具让 Docker 容器能“看到”你的 GPU。没有它,容器里的模型就是个“瞎子”,有显卡也用不上。

## 添加仓库distribution=$(. /etc/os-release;echo $ID$VERSION_ID)curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpgcurl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list \| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list# 安装sudo apt updatesudo apt install -y nvidia-container-toolkit# 配置 Docker 运行时sudo nvidia-ctk runtime configure --runtime=dockersudo systemctl restart docker

验证一下是否成功:

docker run --rm --gpus all nvidia/cuda:12.3.0-base-ubuntu22.04 nvidia-smi

如果能看到熟悉的 nvidia-smi 输出,恭喜你,GPU 已经在 Docker 里“上线”了!

三、下载模型:“把Kimi请回家”

Kimi-K2.5 是个“大家伙”,模型文件体积不小。我们需要把它下载到服务器的 /data/Kimi-K2.5 目录下。

3.1 使用 Hugging Face CLI(推荐)

## 安装 huggingface_hubpip install -U huggingface_hub# 创建目录sudo mkdir -p /data/Kimi-K2.5# 下载模型(具体仓库名以官方为准)huggingface-cli download moonshotai/Kimi-K2.5 \--local-dir /data/Kimi-K2.5

3.2 使用 modelscope(国内社区,更快)

pip install modelscopemodelscope download --model moonshotai/Kimi-K2.5 \--local_dir /data/Kimi-K2.5

⚠️ 注意 模型文件很大,下载可能需要较长时间。建议使用 screen 或 tmux 在后台运行,避免 SSH 断开导致下载中断。另外,确保 /data 分区有足够的磁盘空间(至少预留 500GB+)。

四、方式一:Docker Run “一键起飞”

这是最简单粗暴的方式,一条命令搞定。适合快速测试和“先跑起来再说”的场景。

4.1 启动命令

复制以下命令,粘贴到终端执行:

docker run -d \--runtime nvidia \--gpus all \--name kimi-k25-0203 \-e SAFET…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/OpenSourceLLM/2026022785961.html