4、GPU集群环境搭建：NVIDIA驱动与CUDA Toolkit安装、NCCL安装、Docker与Kubernetes环境配置

说实话，搭建GPU集群这件事，看着文档挺简单，真上手了全是坑。我这些年帮不少团队搭过环境，从单机四卡到百卡集群都折腾过。今天就把我踩过的坑和总结的经验，一次性说清楚。

4.1 NVIDIA驱动安装——别小看这一步

驱动是GPU工作的基础。很多人觉得装驱动就是下一步下一步，其实不然。我见过最惨的一次，驱动版本和CUDA不兼容，整个集群重装了三天。

4.1.1 驱动版本选择

选驱动版本，记住一个原则：够用就好，别追新。我习惯用NVIDIA官方的长期支持版本（LTS），稳定第一。

4.1.2 安装步骤

嗯，这里要注意。装驱动前，先把系统里旧的NVIDIA驱动清干净。我曾经因为没卸载干净，新驱动死活装不上，折腾了一下午。

# 1. 卸载旧驱动
sudo apt-get purge nvidia*
sudo apt-get autoremove

# 2. 禁用nouveau开源驱动
echo "blacklist nouveau" | sudo tee /etc/modprobe.d/blacklist-nvidia-nouveau.conf
sudo update-initramfs -u

# 3. 重启后安装驱动
sudo apt-get install nvidia-driver-535

# 4. 验证安装
nvidia-smi

4.2 CUDA Toolkit安装——版本匹配是王道

CUDA Toolkit说白了就是GPU的编译器加运行时库。我见过最离谱的事，有人装了CUDA 12.0，但驱动只支持到11.8，结果所有程序都报错。

4.2.1 版本匹配原则

4.2.2 安装方式

我个人习惯用runfile安装，虽然麻烦点，但可控性高。deb包虽然方便，但有时候会装到奇怪的位置。

# 下载CUDA 12.1 runfile
wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run

# 执行安装（注意：不要装驱动，只装Toolkit）
sudo sh cuda_12.1.0_530.30.02_linux.run --toolkit --silent

# 配置环境变量
echo 'export PATH=/usr/local/cuda-12.1/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# 验证
nvcc --version

4.3 NCCL安装——多卡通信的命脉

NCCL（NVIDIA Collective Communications Library）是多GPU通信的底层库。说白了，没有它，你的多卡训练就是各跑各的，根本协同不起来。

4.3.1 安装方式

NCCL有两种安装方式：deb包和tar包。我推荐用deb包，省心。但要注意，NCCL版本必须和CUDA版本匹配。

# 添加NVIDIA仓库
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /"

# 安装NCCL
sudo apt-get install libnccl2=2.18.3-1+cuda12.1 libnccl-dev=2.18.3-1+cuda12.1

# 验证安装
dpkg -l | grep nccl

4.3.2 NCCL环境变量调优

NCCL的性能调优，说白了就是调几个环境变量。我总结了一套通用配置：

# 网络通信优化
export NCCL_IB_DISABLE=0          # 启用InfiniBand
export NCCL_IB_HCA=mlx5_0:1       # 指定IB网卡
export NCCL_SOCKET_IFNAME=eth0    # 指定以太网卡

# 算法选择
export NCCL_ALGO=Ring             # 使用Ring算法，稳定
export NCCL_PROTO=Simple          # 使用Simple协议

# 超时设置
export NCCL_TIMEOUT=1800          # 30分钟超时，防止大模型训练中断

4.4 Docker与Kubernetes环境配置——容器化部署

容器化部署GPU集群，说白了就是让每个任务跑在独立的沙箱里，互不干扰。我见过太多因为环境冲突导致训练失败的情况了。

4.4.1 Docker配置

Docker本身不支持GPU，需要装nvidia-docker2。这个坑我踩过，第一次装完Docker发现跑不了GPU程序，还以为显卡坏了。

# 安装Docker
sudo apt-get install docker.io

# 安装nvidia-docker2
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y nvidia-docker2

# 重启Docker
sudo systemctl restart docker

# 测试GPU容器
docker run --rm --gpus all nvidia/cuda:12.1.0-base nvidia-smi

4.4.2 Kubernetes配置

Kubernetes管理GPU集群，核心是nvidia-device-plugin。这个插件负责把GPU资源暴露给K8s调度器。

# 安装nvidia-device-plugin
kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.14.0/nvidia-device-plugin.yml

# 验证GPU节点
kubectl get nodes -o json | jq .items[].status.capacity

# 创建测试Pod
cat <

# 在K8s中启动多卡测试
cat <