1. 多卡训练基础：分布式训练概念、数据并行与模型并行、同步与异步训练模式
大家好，我是你们的老朋友。今天咱们聊聊多卡训练的基础知识。说实话，我刚入行那会儿，觉得单卡训练已经够用了，直到有一天老板扔给我一个百亿参数的模型……嗯，从那以后，我就开始认真研究分布式训练了。
1.1 分布式训练到底是个啥？
说白了，分布式训练就是把一个大的训练任务，拆成多个小任务，让多张显卡一起干活。你想想看，一张卡跑一个礼拜，换成八张卡，理论上一天多就能跑完。当然，这只是理想情况，实际中会有通信开销。
我个人习惯把分布式训练分成三个层次来理解：
- 数据并行：每张卡都有一份完整的模型副本，但只处理一部分数据
- 模型并行：模型太大，一张卡装不下，那就把模型切成几块，每张卡负责一块
- 混合并行：上面两种方式混着用，适合超大模型
核心要点：分布式训练的本质是「分而治之」，但难点在于「合」——如何高效地同步梯度、更新参数。
1.2 数据并行 vs 模型并行
这两个概念经常被混淆，我给大家捋一捋。
数据并行（Data Parallelism）
这是最常用的方式。每张卡上跑的是同一个模型，但喂给它们的数据不一样。比如你有8张卡，一个batch是64张图，那就每张卡分8张图。每张卡算完自己的梯度后，大家把梯度汇总一下，再更新模型。
我在项目中遇到过一个问题：数据并行虽然简单，但通信开销不小。尤其是当模型很大、梯度很多的时候，AllReduce操作会成为瓶颈。
# 伪代码示例：数据并行流程
for each batch:
data = split_batch(global_batch, num_gpus)
for each GPU:
loss = forward(model, data[gpu_id])
grad = backward(loss)
all_reduce(grad) # 同步梯度
optimizer.step() # 更新模型模型并行（Model Parallelism）
模型并行就有点不一样了。当模型大到一张卡放不下时，比如GPT-3这种千亿参数模型，就得把模型切成几块。每张卡只负责模型的一部分，数据在卡之间串行传递。
我曾经踩过一个坑：模型并行中，如果切分不合理，会导致严重的「流水线气泡」——有些卡在干活，有些卡在空等。后来我学会了用「切分点」来平衡计算负载。
| 对比维度 | 数据并行 | 模型并行 |
|---|---|---|
| 适用场景 | 模型能放进单卡 | 模型太大，单卡放不下 |
| 通信模式 | 梯度同步（AllReduce） | 激活值传递（P2P） |
| 主要瓶颈 | 通信带宽 | 计算负载不均 |
| 实现难度 | 较低 | 较高 |
1.3 同步训练 vs 异步训练
这个选择其实挺纠结的。我刚开始做分布式时，觉得异步训练肯定更快，结果发现模型收敛质量堪忧。
同步训练（Synchronous Training）
所有卡算完一个batch后，大家一起同步梯度，再一起更新。优点是梯度一致，模型收敛稳定。缺点是慢卡拖累快卡——这就是所谓的「木桶效应」。
我的建议：如果你的集群网络很好（比如NVLink），或者卡数不多（8卡以内），优先用同步训练。稳定，省心。
异步训练（Asynchronous Training）
每张卡算完自己的梯度后，直接更新全局模型，不用等别人。优点是快，没有等待时间。缺点是梯度可能「过时」——你更新模型时，别人可能已经更新了好几轮了。
我记得有一次，用异步训练跑一个推荐模型，loss曲线像心电图一样上下乱跳。后来加了梯度裁剪和延迟补偿，才稳住。
避坑指南：我曾经在16卡集群上试过纯异步训练，结果模型精度掉了2个点。如果你对精度要求高，建议用同步训练，或者用「半异步」方案——比如每隔几步强制同步一次。
1.4 知识体系总览
为了让大家更直观地理解这些概念之间的关系，我画了一张图。嗯，SVG画的，凑合看。
1.5 实际选型建议
说了这么多，到底该怎么选？我给大家一个简单的判断逻辑：
- 模型能放进单卡吗？能 → 用数据并行；不能 → 用模型并行
- 卡间通信快吗？快（NVLink）→ 同步训练；慢（以太网）→ 考虑异步或梯度压缩
- 卡数多吗？8卡以内 → 同步训练；64卡以上 → 考虑分层同步或异步
一个小技巧：如果你不确定用哪种方式，可以先跑一个小实验。用4卡跑一个epoch，对比同步和异步的吞吐和loss曲线。我每次换新集群都会这么做，省得后面踩坑。
好了，这一章就到这里。分布式训练的基础概念其实不难，难的是在实际中调优。下一章我们会深入聊聊通信效率的问题——为什么你的8卡训练只比单卡快了3倍？到时候见。