1. 分布式训练基础：从单卡到多卡的演进与挑战
1.1 单卡训练的“天花板”
先聊聊单卡训练。说白了，就是一块GPU包揽所有活——加载数据、前向传播、反向传播、更新参数。我刚开始做深度学习那会儿，觉得一块V100能跑个ResNet-50已经挺爽了。
但问题很快就来了。模型越来越大，数据越来越多。你想想看，GPT-3有1750亿参数，单卡显存连模型都装不下，更别提训练了。这就是所谓的“内存墙”。
单卡训练的核心瓶颈：
- 显存限制：模型参数、梯度、优化器状态全挤在显存里
- 计算时间：单卡算力有限，大模型训练时间以月为单位
- 数据吞吐：单卡处理数据的速度跟不上模型复杂度
我在项目中遇到过一件事：训练一个BERT-Large模型，单卡要跑将近两个月。迭代一次实验，黄花菜都凉了。所以，多卡训练不是“锦上添花”，而是“不得不做”。
1.2 从单卡到多卡：核心思路
多卡训练的核心思路其实很简单：把一个大任务拆成多个小任务，分给多张卡同时干。但怎么拆？拆完怎么合？这里就有讲究了。
常见的并行策略有三种：
| 并行策略 | 核心思想 | 典型场景 |
|---|---|---|
| 数据并行 | 每张卡存完整模型，分不同数据 | 模型能塞进单卡显存 |
| 模型并行 | 模型切分到不同卡上 | 模型太大，单卡放不下 |
| 流水线并行 | 模型按层切分，数据流式处理 | 层数极深的模型 |
嗯，这里要注意：数据并行是最常用的入门方案。我个人的习惯是，先跑通数据并行，再根据瓶颈考虑其他策略。
1.3 数据并行：最直观的演进
数据并行的逻辑很直白：每张卡都有一份完整的模型副本，但只处理一部分数据。每张卡算完自己的梯度后，大家把梯度汇总，再统一更新参数。
伪代码长这样：
# 伪代码：数据并行训练循环
for each batch:
# 每张卡拿到自己的数据分片
data_shard = split_data(batch, rank, world_size)
# 前向传播
loss = model(data_shard)
# 反向传播，计算本地梯度
loss.backward()
# 关键步骤：所有卡同步梯度
all_reduce(gradients)
# 更新参数（每张卡用相同的梯度）
optimizer.step()
这里最关键的步骤就是 all_reduce。说白了，就是把所有卡的梯度加起来，再平均分给每张卡。我刚开始写分布式代码时，经常在这里踩坑——忘了做梯度同步，结果每张卡各自为政，模型根本收敛不了。
避坑指南：我曾经在8卡训练时，因为忘记调用all_reduce，模型loss震荡了整整两天。后来排查发现，每张卡都在用自己的局部梯度更新参数，相当于8个不同的模型在各自训练。嗯，这个教训让我养成了“先验证梯度同步”的习惯。
1.4 多卡训练的核心挑战
从单卡到多卡，不是简单地把卡堆在一起就完事了。我总结了一下，核心挑战有三个：
- 通信瓶颈：卡与卡之间要频繁交换数据。8卡还好，到了64卡、256卡，通信开销可能比计算还大。
- 负载不均：有的卡处理快，有的卡处理慢。快的卡要等慢的卡，整体效率被拖累。
- 同步开销：梯度同步是同步操作，所有卡必须等最慢的那张卡算完才能继续。
你想想看，如果一张卡因为某些原因慢了0.1秒，其他7张卡都得干等着。这就是所谓的“木桶效应”。
1.5 知识体系总览
下面这张图是我自己整理的，把从单卡到多卡的演进逻辑画出来了：
这张图把整个演进逻辑串起来了：单卡遇到瓶颈 → 引入并行策略 → 带来新挑战 → 需要解决方案 → 最终目标。后面的课程，我们会逐一拆解这些挑战和方案。
1.6 我的个人经验总结
做了这么多年分布式训练，我最大的感受是：多卡训练不是简单的“卡越多越快”。你想想看，8卡能到7倍加速就算不错了，64卡可能连30倍都到不了。为什么？通信开销在作怪。
小技巧：我建议刚开始接触多卡训练的同学，先从2卡、4卡开始，把通信机制跑通。别一上来就上64卡，否则出了问题你根本不知道是代码bug还是通信瓶颈。
另外，不要迷信“全同步”。在某些场景下，异步训练反而更快。当然，异步训练也有自己的坑——模型收敛不稳定。这个我们后面会详细讲。
嗯，这一章就到这里。记住一句话：多卡训练的本质，是用通信换计算。通信效率决定了你能换到多少加速比。