3. NCCL环境变量调优
聊到NCCL调优，环境变量这块是绕不开的硬骨头。说实话，我刚开始接触分布式训练时，看到这堆环境变量头都大了——NCCL_ALGO、NCCL_PROTO、NCCL_BUFFSIZE……每个都像黑盒。后来踩了不少坑，才慢慢摸清它们的脾气。
今天我就把这几个关键变量掰开揉碎讲清楚。你想想看，调好了它们，多卡通信效率能翻倍，显存溢出也能有效缓解。
NCCL_ALGO：通信算法选择
这个变量控制NCCL底层用什么算法做集合通信。说白了，就是数据怎么在GPU之间流动。
可选值有：Ring、Tree、CollNet、NVLS等。默认是NCCL自动选择，但自动选择不一定最优。
我的经验：在8卡A100机器上，Ring算法通常表现稳定。但遇到跨节点通信时，Tree算法反而更快。我曾在64卡集群上测试过，Tree比Ring快了将近15%。
设置方式很简单：
export NCCL_ALGO=Ring # 强制使用Ring算法
export NCCL_ALGO=Tree # 强制使用Tree算法小技巧：不确定用哪个？先跑个基准测试。NCCL自带nccl-tests工具，可以对比不同算法的带宽和延迟。
NCCL_PROTO：通信协议选择
这个变量决定数据在GPU间传输时用什么协议。主要有两种：Simple和LL（Low Latency）。
| 协议 | 特点 | 适用场景 |
|---|---|---|
| Simple | 高带宽，延迟稍高 | 大消息传输（>256KB） |
| LL | 低延迟，带宽较低 | 小消息传输（<256KB） |
嗯，这里要注意：LL协议虽然延迟低，但会占用更多显存做缓冲。我遇到过有人为了追求低延迟，全用LL协议，结果显存爆了。
避坑指南：我曾经在训练BERT-Large时，把NCCL_PROTO设为LL，结果OOM了。后来改成Simple，显存占用降了30%，训练速度反而没降多少。所以别盲目追求低延迟。
export NCCL_PROTO=Simple # 推荐大模型训练使用
export NCCL_PROTO=LL # 小消息场景使用NCCL_BUFFSIZE：通信缓冲区大小
这个变量控制NCCL内部用于通信的缓冲区大小，单位是字节。默认值通常是4MB或8MB，具体看NCCL版本。
为什么调它？缓冲区太小，大消息会被拆成多个小包，增加开销。缓冲区太大，又浪费显存。
我个人习惯这样调：
- 小模型（<1B参数）：保持默认，或者设小一点（4MB）
- 大模型（>1B参数）：设大一点（16MB~64MB）
- 超大模型（>10B参数）：可以试试128MB
export NCCL_BUFFSIZE=16777216 # 16MB
export NCCL_BUFFSIZE=67108864 # 64MB我的实测：在训练 175B时，把BUFFSIZE从默认8MB调到64MB，通信效率提升了20%。但再往上调就没明显收益了。
NCCL_NTHREADS：通信线程数
这个变量控制NCCL内部使用多少个线程做通信。默认值通常是1或2。
你想想看，线程多了，并行处理能力强，但线程切换开销也大。线程少了，可能喂不饱GPU带宽。
我建议这样设置：
- 单卡训练：不用管，NCCL不参与
- 单机多卡：设2~4个线程
- 多机多卡：设4~8个线程
export NCCL_NTHREADS=4 # 单机多卡推荐
export NCCL_NTHREADS=8 # 多机多卡推荐小提示：线程数不是越多越好。我试过设16个线程，结果性能反而下降了，因为CPU成了瓶颈。一般4~8个就够了。
NCCL_IB_DISABLE：是否禁用InfiniBand
这个变量控制是否使用InfiniBand（IB）网络。IB是高性能网络，延迟低、带宽高，但需要硬件支持。
设置方式：
export NCCL_IB_DISABLE=0 # 启用IB（默认）
export NCCL_IB_DISABLE=1 # 禁用IB，使用TCP/IP什么时候禁用IB？
- 没有IB硬件：比如只有以太网
- IB驱动有问题：我遇到过IB驱动版本不兼容，导致通信失败
- 调试网络问题：禁用IB可以排除IB层面的故障
避坑指南：我曾经在云上训练，机器明明有IB，但NCCL死活连不上。折腾了半天，发现是安全组没放行IB端口。最后只能NCCL_IB_DISABLE=1先用TCP顶着。所以，上生产环境前一定要测试IB连通性。
其他重要变量一览
| 变量名 | 作用 | 推荐值 |
|---|---|---|
| NCCL_DEBUG | 控制调试日志级别 | INFO（调试时用），WARN（生产环境） |
| NCCL_IB_HCA | 指定使用哪块IB网卡 | 如：mlx5_0,mlx5_1 |
| NCCL_SOCKET_IFNAME | 指定使用哪块以太网卡 | 如：eth0,ib0 |
| NCCL_MIN_NCHANNELS | 最小通信通道数 | 默认2，可适当调大 |
实战调优流程
说了这么多，到底怎么调？我总结了一套流程：
- 先跑基准测试：用
nccl-tests测出当前配置的带宽和延迟 - 调NCCL_ALGO：对比Ring和Tree，选快的
- 调NCCL_PROTO：大消息用Simple，小消息用LL
- 调NCCL_BUFFSIZE：从默认开始，逐步增大，观察显存和性能
- 调NCCL_NTHREADS：从2开始，逐步增加到8，看性能拐点
- 检查网络：确认IB或以太网配置正确
核心思路：调优不是一次性的。每次改一个变量，跑一次测试，记录结果。我习惯用脚本自动化这个过程，省时省力。
最后说一句：环境变量调优是锦上添花，不是雪中送炭。如果你的模型本身有显存泄漏，或者代码有bug，调这些变量也救不了。先把基础打牢，再谈优化。
好了，这一章就到这里。记住，多卡通信调优是个细致活，耐心点，慢慢来。