2、分布式训练基础：数据并行、模型并行、流水线并行、混合并行的原理与适用场景

当单卡显存无法容纳大模型，或单卡算力无法满足训练吞吐要求时，分布式训练成为必然选择。然而，分布式并非简单地把多张卡连起来，而是需要根据模型结构、显存容量、通信带宽和扩展效率，在“数据切分”与“模型切分”之间做出权衡。本章将系统拆解四种主流并行范式——数据并行（Data Parallelism, DP）、模型并行（Model Parallelism, MP）、流水线并行（Pipeline Parallelism, PP）和混合并行（Hybrid Parallelism），从原理、适用场景到工程落地中的关键判断，帮助学员建立一套完整的分布式训练选型方法论。

上图展示了四种并行范式的核心定位与决策入口。在实际工程中，它们并非互斥，而是经常组合使用。下面逐一深入剖析每种范式的原理、适用场景与工程要点。

2.1 数据并行（DP/DDP）

核心原理

数据并行是最早被广泛采用的分布式训练范式。其核心思想是：每个计算设备（GPU）持有完整的模型参数副本，训练数据被切分成多个mini-batch分发给各设备。每个设备独立完成前向传播和反向传播，计算出本地梯度后，通过AllReduce通信操作在所有设备间同步梯度，确保每个设备上的模型参数保持一致更新。

在PyTorch生态中，DP（DataParallel）与DDP（DistributedDataParallel）是两种典型实现。DDP采用Ring-AllReduce算法，相比DP的Parameter Server架构，通信效率更高，且避免了主卡瓶颈。DDP已成为数据并行的事实标准。

判断方法

• 模型可放入单卡显存：即模型参数+梯度+优化器状态的总显存占用不超过单卡显存的70%左右（预留激活值空间）。
• 训练数据量大：数据并行通过增大batch size来提升吞吐，适合数据规模远大于模型规模的场景。
• GPU间通信带宽充足：NVLink（单机多卡）或RoCE/InfiniBand（多机）能提供高带宽低延迟通信。

案例拆解：BERT-Base微调的数据并行实践

某团队需要对BERT-Base（约1.1亿参数）进行领域微调，使用4张NVIDIA A100（40GB显存）。模型参数约440MB，加上梯度和Adam优化器状态（fp32），总显存需求约3.5GB，远低于40GB单卡容量。训练数据为500万条领域文本。

初始采用单卡训练，batch size设为16，每轮迭代耗时约0.8秒，预计完成10个epoch需要约70小时。团队改用DDP后，将全局batch size提升至64（每卡16），通过Ring-AllReduce同步梯度。实测4卡加速比达到3.6倍（理论上限4.0），训练时间缩短至约20小时。关键调优参数：torch.distributed.init_process_group(backend='nccl')，并使用DistributedSampler确保数据不重叠。

常见误区

• 误区一：盲目增大batch size。过大的batch size会导致收敛精度下降，需要配合学习率warmup和线性缩放规则调整。
• 误区二：忽略通信开销。当模型较小时，通信时间可能超过计算时间，此时数据并行收益有限，应考虑其他并行策略。
• 误区三：未使用混合精度。fp16训练可减少通信量（梯度减半），配合损失缩放（Loss Scaling）可显著提升效率。

2.2 模型并行（MP）

核心原理

当模型规模超出单卡显存时，数据并行不再适用。模型并行将模型参数切分到多张卡上，每张卡只负责存储和计算模型的一部分。根据切分粒度的不同，模型并行又分为张量并行（Tensor Parallelism, TP）和层间并行（Layer-wise Parallelism）。

张量并行（如Megatron-LM中的实现）将某一层的权重矩阵按行或列切分，分布在多张卡上，通过AllReduce通信合并部分结果。层间并行则将不同层分配到不同设备，前向传播时数据依次流经各设备。张量并行通信频率高、单次通信量小；层间并行通信频率低、单次通信量大。

判断方法

• 单层权重过大：如的1750亿参数模型中，单个注意力层的权重矩阵可能超过数GB，此时需要张量并行。
• 模型总参数量超过单卡显存数倍：当模型无法通过激活重计算等技术压缩进单卡时，必须采用模型并行。
• 通信拓扑为高带宽低延迟：张量并行对通信要求极高，通常要求NVLink全互联或节点内通信。

案例拆解： 1.5B模型的张量并行

某研究团队需要在8张V100（32GB）上训练 1.5B模型。模型参数约6GB（fp16），加上梯度和优化器状态，总需求超过20GB，单卡无法容纳。团队采用Megatron-LM的张量并行方案，将Transformer层的QKV权重和输出权重按列/行切分到8卡。

关键配置：tensor_model_parallel_size=8，每层计算时通过AllReduce同步中间结果。实测训练吞吐为每卡约12 TFLOPs，相比单卡理论峰值（V100约125 TFLOPs）利用率约10%，主要瓶颈在于AllReduce通信开销。团队通过将通信与计算重叠（Overlap）优化，将利用率提升至15%。

常见误区

• 误区一：认为MP可以无限扩展。MP的通信量随卡数增加而增加，当卡数超过一定阈值后，加速比反而下降。
• 误区二：忽略激活值显存。MP虽然减少了参数显存，但激活值（中间结果）仍可能占用大量显存，需配合激活重计算（Activation Checkpointing）使用。
• 误区三：切分维度选择不当。列切分和行切分各有优劣，需根据后续算子类型选择，例如LayerNorm前的线性层适合列切分，MLP中间层适合行切分。

2.3 流水线并行（PP）

核心原理

流水线并行将模型按层切分为多个Stage（阶段），每个Stage分配到不同的设备上。数据以micro-batch为单位在Stage间流动，前一个Stage计算完一部分micro-batch后即可传给下一个Stage，形成流水线效应。与模型并行不同，流水线并行中每个设备只负责连续的一段层，设备间传输的是完整的激活值张量。

经典的流水线调度策略包括Gpipe（一次性将所有micro-batch注入流水线）和PipeDream（采用1F1B策略，前向与反向交错执行）。1F1B策略能有效减少流水线气泡（Bubble），提升设备利用率。

判断方法

• 模型层数极深：如有96层，可将每24层分配到一个Stage，共4个Stage。
• 单层可放入单卡：如果单层权重过大，需要先使用TP将单层拆分，再使用PP切分层间。
• 跨节点通信为主：PP的通信量远小于TP，适合在节点间使用，容忍一定的网络延迟。

案例拆解： 175B的流水线并行设计

训练时，使用V100集群，单卡显存32GB。模型1750亿参数，若使用fp16存储，参数占350GB，加上梯度和优化器状态，总需求超过1TB。团队采用PP+DP+MP的混合策略：首先使用8路TP处理单层过大问题，然后使用8路PP将96层切分为12个Stage（每Stage 8层），最后使用64路DP扩展数据并行度。

流水线配置中，每个Stage的micro-batch数量设为32，采用1F1B调度。实测流水线气泡率约为10%，即设备利用率约90%。关键调优参数：num_micro_batches=32，num_stages=12。团队通过增大micro-batch数量来隐藏流水线启动和排空阶段的空闲时间。

常见误区

• 误区一：Stage数量越多越好。Stage过多会导致气泡率上升，且通信次数增加。一般建议Stage数不超过节点数的4倍。
• 误区二：忽略micro-batch大小。micro-batch过小会导致计算效率低，过大则显存不足。需根据激活值显存占用动态调整。
• 误区三：未使用动态负载均衡。不同层的计算量差异较大，简单按层数均分会导致负载不均，应结合计算量估算进行切分。

2.4 混合并行（Hybrid Parallelism）

核心原理

混合并行是当前大模型训练的主流方案，它将数据并行、模型并行、流水线并行以及序列并行（Sequence Parallelism）组合使用，形成多维度的并行策略。以Megatron-Turing NLG（530B参数）为例，其并行配置为：TP=8，PP=35，DP=192，总GPU数=8×35×192=53760。

混合并行的核心设计原则是：在通信最密集的维度使用最快的连接。通常将TP放在节点内（NVLink），PP放在节点间（InfiniBand），DP放在更大范围的集群中。这种分层设计能最大化利用不同层级的通信带宽。

判断方法

• 模型规模超过千亿参数：单一并行策略无法满足显存和算力需求。
• 集群规模超过32卡：需要多级并行来平衡通信与计算。
• 训练任务需要长时间运行：混合并行虽然配置复杂，但长期运行收益显著。

案例拆解：LLaMA-65B的混合并行训练

某公司使用128张A100（80GB）训练LLaMA-65B模型。模型参数约130GB（fp16），单卡无法容纳。团队采用3D并行策略：TP=4（节点内），PP=8（节点间），DP=4（跨节点）。总GPU数=4×8×4=128。

初始配置时，团队发现PP的Stage间通信延迟较高，导致流水线气泡率高达18%。通过分析NCCL通信日志，发现Stage间传输的激活值张量过大（约2.5GB）。优化措施：在PP的Stage边界插入激活值压缩（fp16→fp8），将通信量降低40%，气泡率降至11%。同时，将DP的梯度AllReduce与PP的反向传播重叠，进一步隐藏通信延迟。

最终训练吞吐达到每GPU约38 TFLOPs，相比单卡理论峰值（A100约312 TFLOPs）利用率约12%。虽然利用率不高，但考虑到模型规模，这一结果已属优秀。训练总耗时约21天完成1.4T tokens的训练。

常见误区

• 误区一：盲目追求并行维度数量。并行维度越多，通信拓扑越复杂，调试难度越大。应从最小配置开始逐步增加。
• 误区二：忽略显存碎片化。多维度并行会加剧显存碎片化，建议使用PyTorch的显存缓存机制（torch.cuda.memory.set_per_process_memory_fraction）进行限制。
• 误区三：未使用Profiling工具。混合并行中瓶颈可能出现在任何维度，必须使用Nsight Systems、PyTorch Profiler等工具定位。

总结复盘

四种并行范式各有适用边界：数据并行适合模型可放入单卡的场景，模型并行解决单层过大问题，流水线并行应对超深网络，混合并行则是大模型训练的终极方案。在实际工程中，建议遵循以下决策流程：

1. 第一步：评估模型能否放入单卡（考虑参数+梯度+优化器状态+激活值）。若能，优先使用DDP。
2. 第二步：若单卡放不下，检查单层权重是否过大。若是，先使用TP。
3. 第三步：若层数极深，使用PP切分层间。
4. 第四步：若仍有剩余GPU资源，使用DP扩展数据并行度。
5. 第五步：最后进行通信重叠、激活压缩、负载均衡等细粒度调优。

分布式训练的性能调优没有银弹，需要结合硬件拓扑、模型结构和训练目标综合权衡。建议学员在动手实践时，先从单机多卡的小规模实验开始，逐步扩展到多机多卡，积累通信瓶颈的排查经验。