4. NVIDIA驱动安装与配置
多卡通信，驱动是地基。地基没打好，上层再漂亮的代码也是空中楼阁。
这一节，我带你搞定NVIDIA驱动的安装与配置。说白了，就是三件事：选对版本、装对软件、看懂工具输出。嗯，咱们一个一个来。
4.1 驱动版本选择：别盲目追新
很多人一上来就装最新驱动。我个人习惯是——先看需求，再选版本。
你想想看，驱动版本不是越新越好。新驱动可能带来新特性，但也可能引入新bug。我在项目中遇到过，某次升级到最新驱动后，多卡通信延迟反而增加了15%。查了两天才发现是驱动对某款GPU的调度策略变了。
选驱动版本，记住三个原则：
- 匹配CUDA版本：驱动版本必须支持你需要的CUDA Toolkit版本
- 匹配GPU型号：老卡用老驱动，新卡用新驱动
- 匹配应用场景：训练场景选稳定版，研究场景可以尝鲜
4.2 CUDA Toolkit与Driver兼容性
这里有个常见的误区。很多人以为装了CUDA Toolkit就等于装了驱动。其实不是。
CUDA Toolkit是开发工具包，Driver是底层驱动。两者是分开的。但必须兼容。
| CUDA Toolkit版本 | 最低驱动版本 | 推荐驱动版本 |
|---|---|---|
| CUDA 11.8 | 520.61.05 | 525.85.12 |
| CUDA 12.0 | 525.60.13 | 530.30.02 |
| CUDA 12.1 | 530.30.02 | 535.54.03 |
怎么查兼容性？NVIDIA官方有个兼容性矩阵表。我建议你直接去官网查，别信第三方整理的数据——我吃过这个亏。
nvidia-smi 看看当前驱动版本。然后去NVIDIA官网查这个驱动支持的最高CUDA版本。这样你就知道能装什么版本的Toolkit了。
4.3 nvidia-smi：你的第一把瑞士军刀
nvidia-smi 是我每天必用的命令。没有之一。
最基本的用法：
nvidia-smi输出会告诉你：
- 驱动版本
- CUDA版本
- GPU型号、显存使用率
- 当前运行的进程
- 温度、功耗
嗯，这里要注意。很多人只看显存占用，忽略了功耗和温度。其实这两个指标对多卡通信影响很大。温度过高会导致GPU降频，通信带宽直接腰斩。
我常用的几个参数：
# 实时监控，每秒刷新
nvidia-smi -l 1
# 查看GPU UUID，用于脚本中唯一标识
nvidia-smi -L
# 查询某个GPU的详细信息
nvidia-smi -i 0 -qnvidia-smi -l 1 监控GPU状态，另一个跑训练任务。这样能实时看到通信瓶颈是不是出在GPU上。
4.4 nvidia-smi topo -m：看懂GPU拓扑
这个命令，说白了就是告诉你GPU之间怎么连的。多卡通信的性能，很大程度上取决于拓扑结构。
nvidia-smi topo -m输出示例：
GPU0 GPU1 GPU2 GPU3 CPU Affinity NUMA Affinity
GPU0 X NV2 NV2 SYS 0-31 N/A
GPU1 NV2 X SYS NV2 0-31 N/A
GPU2 NV2 SYS X NV2 32-63 N/A
GPU3 SYS NV2 NV2 X 32-63 N/A怎么看这个表？
- NV1/NV2：通过NVLink连接，带宽高，延迟低。NV2比NV1带宽翻倍
- SYS：通过PCIe连接，带宽低，延迟高
- X：自己连自己，不用管
我举个例子。上面这个拓扑里，GPU0和GPU1是NV2连接，通信带宽约600GB/s。但GPU0和GPU3是SYS连接，带宽只有32GB/s。差了将近20倍。
所以，多卡编程时，一定要先看拓扑。把通信密集的任务放在NVLink连接的GPU上，把偶尔通信的任务放在PCIe连接的GPU上。
4.5 知识体系总览
下面这张图，是我梳理的驱动安装与配置的核心逻辑。你一看就明白了。
4.6 实战检查清单
最后，我给你一个检查清单。装完驱动后，按这个顺序检查一遍：
- 驱动是否安装成功：
nvidia-smi能正常输出 - 驱动版本是否满足需求：
nvidia-smi第一行显示的版本号 - CUDA Toolkit是否兼容：
nvcc --version和nvidia-smi显示的CUDA版本是否匹配 - GPU是否全部识别：
nvidia-smi显示的GPU数量是否正确 - 拓扑结构是否合理：
nvidia-smi topo -m确认NVLink连接情况
torch.distributed 的 all_reduce 操作，看看带宽是否达标。这一步能提前发现很多问题。
驱动安装看似简单，但细节决定成败。选对版本、装对软件、看懂工具输出——这三步走稳了，多卡通信的性能调优就有了坚实的基础。