3、NCCL驱动适配基础：NVIDIA驱动与CUDA版本对应关系、NCCL版本兼容性矩阵、驱动安装前的环境检查
说实话，NCCL 的坑，十有八九出在驱动适配这一步。
我见过太多人，上来就 pip install 一个 NCCL，然后跑多机训练，结果要么报错说找不到设备，要么直接卡死在初始化阶段。其实说白了，NCCL 不是个独立软件，它得跟 NVIDIA 驱动、CUDA 工具包、GPU 硬件这三样东西配合好才行。任何一个环节版本对不上，后面全是白搭。
3.1 NVIDIA 驱动与 CUDA 版本的对应关系
先讲最基础的东西。NVIDIA 驱动和 CUDA 版本之间，不是随便配的。每个 CUDA 版本，都要求一个最低的驱动版本。比如 CUDA 11.8，最低需要驱动 520.61.05。你驱动版本低了，CUDA 根本跑不起来。
我个人习惯，装驱动之前先去 NVIDIA 官网查一下那个「CUDA Compatibility」表格。嗯，这里要注意，驱动分两种：一种是「生产分支」，稳定但更新慢；另一种是「新特性分支」，功能新但可能不稳定。做集群部署，我建议用生产分支。
我在项目中遇到过一件事：一台机器装了 535 驱动，另一台装了 525 驱动，结果 NCCL 初始化时一直报拓扑错误。查了半天，发现是驱动版本不一致导致 NVLink 带宽协商失败。所以，集群内所有机器的驱动版本必须完全一致。
| CUDA 版本 | 最低驱动版本（Linux x86_64） | 推荐驱动版本 |
|---|---|---|
| 12.4 | 550.54.14 | 550.90.07 |
| 12.3 | 545.23.08 | 545.23.08 |
| 12.2 | 535.129.03 | 535.154.05 |
| 11.8 | 520.61.05 | 525.105.17 |
| 11.7 | 515.65.01 | 515.105.01 |
nvidia-smi 查看当前驱动版本。输出第一行就有「Driver Version: xxx.xx.xx」。另外，nvidia-smi -q -d DRIVER 可以看更详细的驱动信息。
3.2 NCCL 版本兼容性矩阵
NCCL 本身也有版本兼容性要求。你想想看，NCCL 是跟 CUDA 深度绑定的，每个 NCCL 版本都对应一个 CUDA 版本范围。比如 NCCL 2.18.x 支持 CUDA 11.0 到 12.3，但 NCCL 2.19.x 就只支持 CUDA 12.0 以上了。
我曾经踩过一个坑：集群里 CUDA 是 11.8，我图省事直接装了最新版 NCCL 2.20，结果编译 NCCL 测试程序时报了一堆符号找不到的错误。后来查文档才发现，NCCL 2.20 已经不再支持 CUDA 11.x 了。嗯，从那以后我养成了习惯——装 NCCL 之前，先看 Release Notes 里的兼容性矩阵。
下面这个表，是我整理的一个常用兼容性矩阵。注意，这只是部分版本，完整版请参考 NVIDIA 官方文档。
| NCCL 版本 | 支持的 CUDA 版本 | 最低驱动版本 | 备注 |
|---|---|---|---|
| 2.21.5 | 12.0 - 12.4 | 535.129.03 | 最新稳定版 |
| 2.20.5 | 12.0 - 12.3 | 525.105.17 | 支持 NVSwitch |
| 2.18.6 | 11.0 - 12.2 | 520.61.05 | 广泛使用 |
| 2.17.1 | 11.0 - 12.0 | 510.47.03 | 旧版，不推荐 |
3.3 驱动安装前的环境检查
好，到了动手环节。但别急着装驱动，先做一轮环境检查。我总结了一个「三步检查法」，每次装驱动前都走一遍，基本能避免 90% 的问题。
第一步：检查硬件和内核
先确认你的 GPU 型号和数量。用 lspci | grep -i nvidia 看看。然后检查内核版本，因为 NVIDIA 驱动对内核有要求，太老或太新的内核都可能不支持。
# 查看 GPU 信息
lspci | grep -i nvidia
# 查看内核版本
uname -r
# 查看是否已有 NVIDIA 驱动
lsmod | grep nvidia
如果 lsmod | grep nvidia 有输出，说明之前装过驱动。这时候要确认一下版本，避免新旧冲突。
第二步：检查依赖软件
NVIDIA 驱动安装需要一些基础依赖，比如 kernel-devel、gcc、make 等。少了这些，驱动编译会直接失败。
# 检查 gcc 和 make
gcc --version
make --version
# 检查 kernel-devel 是否安装
rpm -qa | grep kernel-devel # CentOS/RHEL
dpkg -l | grep linux-headers # Ubuntu
我个人习惯，在 Ubuntu 上直接跑 apt-get install build-essential linux-headers-$(uname -r)，一步到位。
第三步：检查 Nouveau 驱动是否禁用
Nouveau 是开源的 NVIDIA 驱动，但它跟官方驱动冲突。如果不禁用，装官方驱动时会报错。嗯，这一步很多人会忘。
# 检查 Nouveau 是否加载
lsmod | grep nouveau
# 如果有输出，需要禁用。方法如下：
# 在 /etc/modprobe.d/blacklist-nouveau.conf 中添加：
# blacklist nouveau
# options nouveau modeset=0
# 然后更新 initramfs 并重启
sudo update-initramfs -u
sudo reboot
3.4 知识体系总览
下面这张图，是我画的一个 NCCL 驱动适配的知识体系。你可以把它当成一个检查清单，每次部署前过一遍。
说白了，驱动适配这件事，就是「版本匹配」四个字。驱动版本、CUDA 版本、NCCL 版本，这三者必须在一个兼容的范围内。再加上安装前的环境检查，基本就能保证 NCCL 顺利跑起来。
想要更多资料，联系可可