3、环境准备：硬件选型（GPU、网卡、交换机），操作系统与驱动配置，CUDA与NCCL版本匹配
大家好，我是你们这堂课的老朋友。今天咱们聊聊环境准备。说实话，很多同学觉得这步没啥技术含量，不就是装个驱动、配个系统嘛。但我见过太多集群，硬件买得挺贵，结果因为环境没搭好，性能连一半都跑不出来。嗯，这章咱们就把这些坑一个个填平。
3.1 硬件选型：别光看参数，要看配合
硬件选型这事儿，我个人的习惯是：先定通信拓扑，再选具体型号。说白了，你得想清楚数据怎么在GPU之间流动，然后再去挑网卡和交换机。
3.1.1 GPU选型：算力与显存只是基础
GPU选型，大家第一反应肯定是看算力和显存。但做NCCL集群，你得多看一个指标：NVLink带宽。我在项目中遇到过，有人买了A100 80G，结果发现是PCIe版本，没有NVLink。多机通信时，跨节点带宽直接卡在PCIe 4.0 x16的32GB/s上，而NVLink版本能到600GB/s。这差距，你想想看。
| GPU型号 | NVLink带宽 | 显存 | 适用场景 |
|---|---|---|---|
| A100 SXM | 600 GB/s | 80 GB | 大规模多机训练 |
| A100 PCIe | 无 | 80 GB | 单机多卡或小规模集群 |
| H100 SXM | 900 GB/s | 80 GB | 超大规模集群首选 |
| V100 SXM | 300 GB/s | 32 GB | 老项目兼容 |
3.1.2 网卡选型：带宽与延迟的平衡
网卡这块，现在主流是100Gbps和200Gbps的。我个人更推荐200Gbps的ConnectX-7或ConnectX-8。为什么？因为NCCL的AllReduce操作，对带宽的敏感度非常高。你想想看，8张卡做一次AllReduce，数据量是单卡模型大小的8倍。如果网卡带宽不够，通信时间会直接拖垮训练速度。
这里有个小细节：网卡要支持RoCE v2或InfiniBand。RoCE v2成本低，但需要调优；InfiniBand性能稳，但贵。我在项目中遇到过，有人用普通以太网卡跑NCCL，结果通信延迟高得离谱。嗯，这其实是个坑。
3.1.3 交换机选型：无阻塞是关键
交换机选型，核心就四个字：无阻塞架构。说白了，就是交换机的背板带宽要大于所有端口带宽的总和。比如你接了8个100Gbps端口，那背板带宽至少得800Gbps以上。
我推荐用Mellanox（现NVIDIA）的交换机，比如QM9700或SB7800。它们对NCCL的通信模式有深度优化。当然，如果你预算有限，用Arista或Cisco的也行，但记得开启ECN和PFC，否则丢包会让你怀疑人生。
3.2 操作系统与驱动配置：稳定第一
操作系统这块，我个人的习惯是：用Ubuntu 20.04或22.04 LTS。CentOS虽然也支持，但NVIDIA的驱动和CUDA对Ubuntu的兼容性更好。你想想看，如果系统不稳定，后面所有工作都白搭。
3.2.1 操作系统安装要点
- 内核版本：建议用5.4以上，太老的内核可能不支持新驱动。
- 文件系统：推荐XFS或ext4，别用ZFS，性能开销太大。
- 网络配置：关闭IPv6，开启巨型帧（MTU 9000）。
nouveau驱动禁用掉。否则NVIDIA驱动装不上。我刚开始做集群时，就因为这个折腾了一下午。
3.2.2 NVIDIA驱动配置
驱动版本，我建议用最新的稳定版。比如现在推荐550.x或545.x。别用太老的，也别用最新的beta版。驱动安装后，记得用nvidia-smi检查一下，确保所有GPU都能识别。
# 禁用nouveau
echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf
update-initramfs -u
reboot
# 安装NVIDIA驱动
chmod +x NVIDIA-Linux-x86_64-550.54.14.run
./NVIDIA-Linux-x86_64-550.54.14.run
# 验证
nvidia-smi
persistence mode。否则GPU在空闲时会自动降频，影响NCCL通信性能。命令：nvidia-smi -pm 1
3.3 CUDA与NCCL版本匹配：版本号不是随便选的
CUDA和NCCL的版本匹配，是很多人容易忽略的点。我见过有人装了CUDA 12.0，然后下了个NCCL 2.18，结果编译都过不去。为什么？因为NCCL的版本和CUDA的版本有严格的对应关系。
3.3.1 版本对应关系
| CUDA版本 | 推荐NCCL版本 | 备注 |
|---|---|---|
| CUDA 11.8 | NCCL 2.18.x | 稳定组合，推荐 |
| CUDA 12.0 | NCCL 2.19.x | 新特性支持 |
| CUDA 12.1 | NCCL 2.20.x | 最新稳定版 |
3.3.2 安装与验证
安装NCCL很简单，从NVIDIA官网下载对应版本的deb包或tar包就行。我个人习惯用tar包，因为可以灵活切换版本。
# 下载NCCL
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/nccl_2.18.3-1+cuda11.8_amd64.deb
# 安装
dpkg -i nccl_2.18.3-1+cuda11.8_amd64.deb
# 验证
ldconfig -p | grep nccl
验证NCCL是否正常工作，可以用它自带的nccl-tests。跑一下AllReduce的带宽测试，看看能不能达到理论值的80%以上。
# 编译nccl-tests
git clone https://github.com/NVIDIA/nccl-tests.git
cd nccl-tests
make
# 运行测试
./build/all_reduce_perf -b 8 -e 128M -f 2 -g 8
3.4 本章知识体系
下面这张图，是我自己总结的环境准备核心逻辑。你可以把它当成一个检查清单，每做完一步就打个勾。
好了，环境准备这块就聊到这儿。记住一句话：硬件选型看配合，系统驱动要稳定，版本匹配别乱来。下一章咱们会深入NCCL的通信原理，到时候你会感谢今天把环境搭好的自己。
想要更多资料，联系可可