3、流水线并行基础：什么是流水线并行、与数据并行和模型并行的区别、流水线并行的典型应用场景
在大模型训练与推理的工程实践中，当单卡显存无法容纳模型参数、梯度与优化器状态时，并行策略便成为必选项。数据并行通过复制模型来提升吞吐，但无法解决单卡放不下的问题；模型并行将算子切分到多卡，却受限于通信粒度。流水线并行（Pipeline Parallelism）则从“层”的维度将模型切分为多个阶段（Stage），每个设备负责其中一段连续的计算，设备间通过点对点通信传递中间激活值。这种策略既突破了单卡显存上限，又保持了计算图的结构化特征，是当前超大模型训练（如GPT-4、Llama-3 405B）与长序列推理系统中的核心调度手段。
上图展示了三种并行策略的核心差异。数据并行中每个设备持有完整模型副本，仅通过梯度同步保持一致性；模型并行将单个算子的计算切分到多卡，通信发生在每一层内部；流水线并行则将模型按层切分为多个阶段，设备间只传递层间激活值。流水线并行最大的优势在于通信量小——每个设备只需与相邻设备交换数据，而非全局通信，这使得它在大规模跨节点部署时具有显著的可扩展性。
3.1 核心原理：从“层切分”到“微批次调度”
流水线并行的本质是将深度学习模型按层划分为多个连续的Stage，每个Stage部署在一个或多个计算设备上。以GPT-3 175B为例，若使用8个Stage，则每个Stage约包含12层Transformer块。前向传播时，输入数据依次经过Stage 0 → Stage 1 → … → Stage 7；反向传播时，梯度按相反方向回传。这种设计使得每个设备只需存储自己负责的层参数、对应激活值和优化器状态，显存占用从“全模型”降为“模型/Stage数”。
然而，朴素流水线存在严重的设备空闲问题。假设4个Stage处理4个Micro-batch，Stage 0完成前向计算后，Stage 1才开始工作，此时Stage 0处于空闲状态。为了提升设备利用率，现代流水线并行引入了微批次（Micro-batch）调度机制：将一个大Batch拆分为多个Micro-batch，每个Stage依次处理不同Micro-batch，形成类似CPU流水线的重叠执行。常用的调度策略包括：
- GPipe调度：先完成所有Micro-batch的前向传播，再统一进行反向传播。实现简单，但需要保存所有Micro-batch的中间激活值，显存开销大。
- PipeDream调度（1F1B）：每个Stage交替执行前向和反向计算，前向与反向交错进行，显著降低显存峰值，同时减少气泡率。
- 交错式调度（Interleaved）：将每个Stage进一步细分为多个子块，设备轮流计算不同子块，进一步平衡负载，但通信次数增加。
关键公式：流水线并行中的“气泡率”（Bubble Ratio）定义为设备空闲时间占总时间的比例。对于GPipe，气泡率 ≈ (P-1)/(M+P-1)，其中P为Stage数，M为Micro-batch数。当P=8、M=32时，气泡率约为18%；当M增大到64时，气泡率降至10%左右。因此，增大Micro-batch数量是降低气泡率的直接手段，但受限于显存容量和通信带宽。
3.2 与数据并行、模型并行的区别：三个维度的对比
理解三种并行策略的区别，需要从切分维度、通信模式、显存效率、扩展性四个维度进行系统对比。下表总结了核心差异：
| 对比维度 | 数据并行 (DP) | 模型并行 (MP) | 流水线并行 (PP) |
|---|---|---|---|
| 切分对象 | 训练数据（Batch） | 单层内的算子/权重矩阵 | 模型层序列（Stage） |
| 每卡存储 | 完整模型副本 | 模型的一部分（层内切片） | 连续若干层 |
| 通信模式 | AllReduce（全局梯度同步） | All-to-All（每层前向/反向都通信） | P2P（仅相邻Stage间传递激活值/梯度） |
| 通信频率 | 每个训练步一次 | 每个算子一次 | 每个Micro-batch一次 |
| 通信数据量 | 与模型参数量成正比 | 与激活值/权重切片大小相关 | 与隐藏层维度×序列长度相关 |
| 显存峰值 | 高（需存完整模型+梯度+优化器） | 中（仅存切片，但激活值可能较大） | 低（仅存本Stage参数+激活值） |
| 扩展性瓶颈 | 通信量随卡数线性增长 | 通信延迟随切分粒度增加 | 气泡率随Stage数增加 |
| 典型适用 | 模型可放入单卡，追求吞吐 | 单层超大（如MoE层） | 模型超大，跨节点部署 |
在实际工程中，这三种策略并非互斥。以GPT-4训练为例，通常采用“DP + PP + MP”的混合并行：数据并行处理不同Batch，流水线并行切分层间，模型并行处理超大Attention层。这种组合能够同时利用三种策略的优势，但也带来了更复杂的调度与通信优化挑战。
3.3 典型应用场景：何时选择流水线并行
流水线并行并非万能方案，它适用于以下三类典型场景：
- 超大模型训练（模型无法放入单卡）：当模型参数量超过单卡显存（如A100 80GB）时，数据并行无法工作，必须使用模型并行或流水线并行。流水线并行相比模型并行通信量更小，更适合跨节点（如通过IB网络连接的多机）部署。
- 长序列推理优化：在LLM推理中，KV Cache随序列长度线性增长。当序列长度超过8K甚至32K时，KV Cache可能占据数十GB显存。通过流水线并行将不同层分配到不同设备，可以分摊KV Cache存储压力，同时利用多卡并行计算提升推理吞吐。
- 多租户资源隔离：在云环境中，不同用户或任务可能共享同一批GPU资源。流水线并行天然将模型划分为多个独立Stage，可以灵活地将不同Stage部署到不同物理节点，实现资源隔离与弹性调度。
经验判断：当模型参数量在10B以下且单卡显存足够时，优先使用数据并行；当模型在10B-100B之间，且节点内通信带宽较高（如NVLink 600GB/s）时，可考虑模型并行；当模型超过100B或需要跨节点部署时，流水线并行是更优选择。此外，若训练任务对延迟敏感（如在线学习），流水线并行可能因气泡率导致训练速度下降，此时需谨慎评估。
3.4 实战案例：基于NPU的流水线并行训练配置
某AI公司需要在8张昇腾910B NPU（每卡显存64GB）上训练一个130B参数的稠密语言模型。模型总参数量约130B，FP16精度下权重占用约260GB，加上梯度与优化器状态（AdamW），总显存需求超过800GB，远超单卡容量。团队决定采用流水线并行方案。
初始方案与问题：最初使用4个Stage（每Stage 2张卡），采用GPipe调度，Micro-batch数设为16。训练启动后观察到：设备利用率仅约65%，训练吞吐为1200 tokens/s，远低于预期。通过NPU性能分析工具（如昇腾MindStudio Profiler）定位到两个问题：一是Stage间P2P通信耗时占比达22%，二是Stage 0和Stage 3的负载不均衡（Embedding层和LM Head层计算量小于中间Transformer层）。
优化过程：
- 调整Stage划分：将Embedding层与第一个Transformer层合并到Stage 0，将LM Head与最后一个Transformer层合并到Stage 3，使各Stage计算量更均衡。
- 切换调度策略：从GPipe改为1F1B调度，Micro-batch数从16提升到24。1F1B允许前向与反向交错执行，显存峰值降低约30%，同时气泡率从约23%降至约12%。
- 通信优化：启用昇腾HCOS的RDMA加速，并将P2P通信与计算重叠（通过独立的通信流实现），通信耗时占比从22%降至9%。
结果对比：
| 指标 | 优化前 | 优化后 | 提升幅度 |
|---|---|---|---|
| 设备利用率 | 65% | 88% | +35% |
| 训练吞吐 | 1200 tokens/s | 2100 tokens/s | +75% |
| 显存峰值 | 58GB/卡 | 49GB/卡 | -15% |
| 通信耗时占比 | 22% | 9% | -59% |
风险与代价：1F1B调度增加了实现复杂度，需要处理前向与反向的依赖关系；Micro-batch数增加导致Batch Size增大，可能影响模型收敛精度，需通过学习率预热（Warmup）和梯度累积策略进行补偿。此外，通信重叠依赖NPU驱动支持，若驱动版本过旧可能无法生效。
常见误区提醒：不要盲目追求更小的Stage数。Stage数过少会导致单Stage内层数过多，显存压力增大；Stage数过多则气泡率上升。经验法则是：Stage数 × 每Stage层数 ≈ 模型总层数，且每Stage的显存占用不超过单卡显存的80%。同时，流水线并行并非“免费午餐”，它牺牲了部分计算效率（气泡率）来换取显存容量，在模型可放入单卡时不应使用。
3.5 总结与复盘
流水线并行是解决超大模型训练与推理显存瓶颈的核心技术之一。其核心思想是将模型按层切分为多个Stage，通过微批次调度实现设备间计算重叠。与数据并行和模型并行相比，流水线并行在通信量、显存效率和跨节点扩展性方面具有独特优势，但也引入了气泡率这一固有开销。在实际工程中，需要根据模型规模、硬件拓扑、通信带宽和训练吞吐要求，综合选择并行策略，并通过Stage划分优化、调度策略切换、通信重叠等手段持续调优。
对于NPU平台，流水线并行的实现还需关注昇腾CANN的通信原语（如HCCL的P2P接口）、算子融合能力以及Profiler工具的使用。建议在正式训练前，先在小规模配置（如2个Stage）上验证通信正确性，再逐步扩展到全量Stage，避免因通信配置错误导致训练中断。