环境准备：NCCL安装与版本选择，CUDA与NCCL版本兼容性，环境变量基础配置
说实话，很多人在NCCL上踩的第一个坑，不是性能调优，而是环境没配好。我见过不少团队，花了两周调参数，最后发现是NCCL版本和CUDA对不上——白白浪费时间。所以这一章，咱们先把地基打牢。
NCCL安装：两种主流方式
我个人习惯用二进制包安装，省心。但如果你需要定制化编译，源码安装也绕不开。咱们分别说。
方式一：二进制包安装（推荐）
NVIDIA官方提供了预编译的deb/rpm包，以及tar包。我最常用的是tar包，因为它不依赖系统包管理器，方便在多台机器上保持一致。
# 下载NCCL 2.18.3（以CUDA 12.1为例）
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/nccl-local-repo-ubuntu2204-2.18.3-cuda12.1_1.0-1_amd64.deb
# 安装
sudo dpkg -i nccl-local-repo-ubuntu2204-2.18.3-cuda12.1_1.0-1_amd64.deb
sudo cp /var/nccl-local-repo-ubuntu2204-2.18.3-cuda12.1/nccl-local-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get install libnccl2 libnccl-dev
我的小习惯：装完后立刻跑一下
ldconfig -p | grep nccl，确认库文件被正确链接。曾经有一次我装完忘了更新缓存，结果程序一直报找不到库，排查了半天才发现是ldconfig没跑。
方式二：源码编译安装
如果你需要开启某些特殊选项（比如NVLink拓扑感知、GDR拷贝），或者想针对特定架构优化，那就得走源码编译了。
git clone https://github.com/NVIDIA/nccl.git
cd nccl
make -j src.build CUDA_HOME=/usr/local/cuda-12.1
sudo make install
编译时有个坑——CUDA_HOME一定要指向你实际安装CUDA的路径。我遇到过有人系统里装了三个CUDA版本，结果编译时链接错了，跑起来直接段错误。
CUDA与NCCL版本兼容性：一张表说清楚
版本兼容性是个老生常谈的问题。说白了，NCCL的每个版本都对应一个最低CUDA版本要求。你拿NCCL 2.18去配CUDA 11.0，那肯定跑不起来。
下面这张表是我自己整理的，覆盖了目前主流的组合：
| NCCL版本 | 最低CUDA版本 | 推荐CUDA版本 | 备注 |
|---|---|---|---|
| 2.8.x | 10.2 | 11.0 - 11.3 | 老项目常见，但已不推荐新用 |
| 2.12.x | 11.0 | 11.4 - 11.7 | 支持NVLink 3.0 |
| 2.15.x | 11.4 | 11.8 - 12.0 | 引入NCCL_TOPO_DUMP_FILE |
| 2.18.x | 11.8 | 12.1 - 12.3 | 当前最新稳定版 |
| 2.19.x | 12.0 | 12.2+ | 实验性功能较多 |
注意：千万不要只看“最低CUDA版本”。我曾经在一个项目里用NCCL 2.15配CUDA 11.4，虽然能编译通过，但跑多机时频繁出现超时错误。后来升级到CUDA 11.8才稳定。所以我的建议是：尽量用推荐CUDA版本，别卡在最低要求上。
环境变量基础配置：这些你必须设
NCCL的行为很大程度上由环境变量控制。你想想看，同样的硬件，有的人能跑到线速，有的人只能跑一半——差距往往就在这几个变量上。
核心变量清单
- NCCL_DEBUG：调试信息输出级别。建议设成
INFO或VERSION，能看到通信拓扑和带宽信息。 - NCCL_IB_HCA：指定使用哪张IB网卡。多机场景必设，否则NCCL可能选错网卡。
- NCCL_SOCKET_IFNAME：指定Socket通信的网口。比如
eth0,ib0。 - NCCL_NET_GDR_LEVEL：GPU Direct RDMA级别。设成
5开启，设成0关闭。 - NCCL_P2P_DISABLE：禁用GPU间P2P通信。某些老架构需要设成1。
我一般会在启动脚本里这样配：
export NCCL_DEBUG=INFO
export NCCL_IB_HCA=mlx5_0:1,mlx5_1:1
export NCCL_SOCKET_IFNAME=ib0
export NCCL_NET_GDR_LEVEL=5
export NCCL_P2P_DISABLE=0
避坑指南：我曾经在一台8卡A100机器上，没设
NCCL_IB_HCA，结果NCCL自动选了eth0做跨机通信，带宽直接从200Gbps掉到25Gbps。后来加上这个变量，速度瞬间拉满。所以——多机场景，IB网卡一定要显式指定。
验证安装：跑一个简单的AllReduce
装完别急着调优，先跑个官方测试工具确认环境没问题。
# 编译NCCL测试（在nccl-tests目录下）
git clone https://github.com/NVIDIA/nccl-tests.git
cd nccl-tests
make
# 单机8卡AllReduce测试
./build/all_reduce_perf -b 8 -e 128M -f 2 -g 8
如果输出里能看到 bus bw 接近理论带宽的80%以上，说明环境基本OK。如果只有50%甚至更低，那就要回头检查环境变量和拓扑了。
核心要点回顾：
- 安装优先选二进制包，省时省力
- 版本兼容性看推荐CUDA版本，别卡最低要求
- 环境变量里
NCCL_IB_HCA和NCCL_SOCKET_IFNAME是必设项 - 装完立刻跑nccl-tests验证，别等上线才发现问题
环境准备这块，说白了就是“安装-匹配-配置-验证”四个步骤。每一步都有坑，但只要你按上面的流程走一遍，基本不会出大问题。嗯，咱们下一章开始讲真正的压测指标了，到时候你会感谢现在把环境配好的自己。