环境准备：NCCL安装与版本选择

做NCCL性能测试，第一步就是搭环境。这事儿看着简单，但我在项目中踩过不少坑。说白了，NCCL的安装不是「装上了就行」，版本选不对，后面测出来的数据全是废的。

NCCL版本选择：别盲目追新

我个人习惯是，先看CUDA版本，再选NCCL。NCCL和CUDA的对应关系，官方文档有张表，我直接贴出来：

嗯，这里要注意：别一上来就装最新版。我去年有个项目，图新鲜装了NCCL 2.19，结果跟老驱动不兼容，折腾了两天。后来老老实实退回到2.15，问题全没了。

CUDA与GPU驱动兼容性检查

这一步很多人会忽略。你想想看，CUDA装好了，nvidia-smi也能看到卡，但NCCL就是跑不起来——大概率是驱动版本不对。

检查方法很简单，两条命令：

# 查看驱动版本
nvidia-smi | grep "Driver Version"

# 查看CUDA版本
nvcc --version

驱动和CUDA的对应关系，我一般记这个原则：

• CUDA 11.x：驱动版本 >= 450.80.02
• CUDA 12.0：驱动版本 >= 525.60.13
• CUDA 12.2+：驱动版本 >= 535.54.03

为什么这么重要？因为NCCL底层走的是CUDA的IPC和GDR（GPUDirect RDMA）。驱动版本低了，这些特性根本用不了。我在一个8卡A100的机器上测过，驱动从470升到525，带宽直接翻了1.5倍。

nccl-tests源码编译

nccl-tests是NVIDIA官方出的测试工具。我建议自己编译，别用预编译包。为什么？因为编译时可以指定架构，跑出来的结果更准。

编译步骤其实就三步：

# 1. 克隆代码
git clone https://github.com/NVIDIA/nccl-tests.git
cd nccl-tests

# 2. 编译（指定GPU架构）
make CUDA_HOME=/usr/local/cuda \
     NCCL_HOME=/usr/local/nccl \
     NVCC_GENCODE="-gencode=arch=compute_80,code=sm_80"

# 3. 验证
./build/all_reduce_perf -b 8 -e 128M -f 2 -g 8

这里有个关键点：NVCC_GENCODE 参数。不同GPU的架构码不一样：

我个人习惯是，如果机器上有多种GPU，就多写几个-gencode参数。比如：

NVCC_GENCODE="-gencode=arch=compute_80,code=sm_80 -gencode=arch=compute_90,code=sm_90"

编译完以后，跑个简单的allreduce测试，看看能不能通：

./build/all_reduce_perf -b 1M -e 1M -f 2 -g 8

如果输出里有「Out of bounds」或者「Error」，别慌。先检查NCCL的环境变量：

• NCCL_DEBUG=INFO 打开调试日志
• NCCL_DEBUG_SUBSYS=ALL 看所有子系统日志
• NCCL_IB_DISABLE=1 如果没IB网络，先关掉

最后，我画了一张流程图，把整个环境准备的逻辑串起来：

这张图把整个流程串起来了。你照着走一遍，基本不会出大问题。嗯，环境准备这块，我花了不少时间才摸清楚，希望你能少走弯路。

想要更多资料，联系可可