一、分布式训练概述

什么是分布式训练

分布式训练，说白了就是把一个超大模型的训练任务，拆成多份，让多台机器一起干。

我刚开始接触这个概念时，觉得挺简单的——不就是多几台电脑一起跑嘛？后来踩了坑才发现，事情远没那么简单。

举个例子。你训练一个千亿参数的模型，单张 A100 显卡 80GB 显存，连模型参数都装不下，更别提中间的计算结果了。这时候，分布式训练就成了唯一的选择。

它的核心思路是：把模型切分到多个设备上，或者把数据切分到多个设备上，让它们协同工作。

为什么需要分布式训练

原因其实很直白——模型越来越大，数据越来越多，单机根本扛不住。

• 模型太大：GPT-3 有 1750 亿参数，单卡显存 80GB，连参数都放不下。我见过团队用 512 张卡训一个千亿模型，单卡只负责一小块。
• 数据太多：训练数据动辄 TB 级，单机处理太慢。分布式训练可以把数据分到多个节点，并行读取、并行计算。
• 时间太长：单机训一个 BERT-Large 要几个月，分布式用 64 张卡，一周就能搞定。时间就是金钱，你想想看。
• 成本压力：GPU 集群很贵，但比起等几个月出结果，分布式训练能让你更快迭代、更快上线。

分布式训练的核心挑战

嗯，这里要重点讲。分布式训练虽然好，但坑也不少。我这些年踩过的坑，基本都集中在三个方面。

1. 通信瓶颈

多台机器一起算，算完之后要同步梯度。这个同步过程，就是通信。

你想想看，每张卡算完一个 batch，都要把梯度发给别人。如果网络带宽不够，通信时间可能比计算时间还长。这就是通信瓶颈。

我曾经遇到一个项目，64 张卡，理论加速比应该是 64 倍，结果实际只有 20 倍。一查，80% 的时间都花在 all-reduce 通信上了。

常见的优化手段：

• 使用 NVLink、InfiniBand 等高速互联
• 梯度压缩（比如只传 top-k 梯度）
• 梯度累积（减少通信频率）
• 异步通信（计算和通信重叠）

2. 同步开销

分布式训练有两种同步方式：同步训练和异步训练。

同步训练：所有卡算完一个 batch，等大家都算完，再一起更新参数。好处是精度高，坏处是——如果有一张卡慢了，所有人都得等它。这就是「木桶效应」。

异步训练：各卡算完就更新，不等别人。好处是快，坏处是梯度可能过期，模型收敛不稳定。

我个人习惯用同步训练，精度有保障。但我会做两件事：

• 设置超时机制，超过 30 秒就跳过慢节点
• 用梯度累积减少同步次数

3. 故障容错

分布式训练跑在几十上百台机器上，出故障是常态，不是意外。

我遇到过的情况：

• 某台机器的 GPU 过热，直接挂掉
• 网络交换机重启，导致通信中断
• 磁盘满了，checkpoint 写不进去
• 某张卡的显存 ECC 报错，训练结果全错

如果没有容错机制，训练跑了两周，突然挂掉，那就得从头再来。想想就崩溃。

常见的容错手段：

• 定期 checkpoint：每 N 步保存一次模型状态。我一般设 1000 步保存一次，最多损失 1000 步的计算量。
• 弹性训练：节点挂了自动剔除，新节点加入自动恢复。PyTorch 的 Elastic Training 就支持这个。
• 梯度校验：检查梯度是否有 NaN 或 Inf，有的话跳过这步。

知识体系总览

下面这张图，是我自己总结的分布式训练核心知识结构。你可以把它当作地图，后面每章都会对应到某个模块。

小结

分布式训练不是什么神秘技术，它的本质就是「分而治之」。但分完之后怎么合、怎么保证不出错，这才是考验功夫的地方。

我个人觉得，理解分布式训练最好的方式，就是亲手搭一个集群跑一次。哪怕只有两台机器，跑一个简单的模型，你也能体会到通信瓶颈有多痛、同步开销有多烦、故障容错有多重要。

嗯，这一章就到这里。后面我们会逐一深入每个挑战，给出具体的解决方案和代码实现。