课程导入：学习目标、课程大纲、大模型训练面临的挑战、并行计算基本概念

大模型训练已成为人工智能领域最核心的工程挑战之一。从的1750亿参数到万亿级稀疏模型，单卡显存早已无法承载模型权重、优化器状态与中间激活的总和。与此同时，集群规模从数十卡扩展到数万卡，通信拓扑从单机NVLink扩展到跨机InfiniBand/RoCE网络，系统设计的复杂度呈指数级上升。本课程聚焦于大模型训练中的并行切分策略（数据并行、张量并行、流水线并行、序列并行、专家并行）与通信优化技术（通信原语、拓扑感知调度、梯度压缩、异步流水线），帮助学员建立从单卡到万卡集群的系统化设计能力。本章作为开篇，将明确学习目标与课程大纲，剖析大模型训练面临的核心挑战，并建立并行计算的基本概念框架。

1.1 学习目标与课程大纲

核心原理：从“能跑”到“高效跑”的能力跃迁

本课程的学习目标不是让学员仅仅了解并行训练的概念名词，而是建立一套完整的决策框架：面对一个具体的模型规模和集群配置，如何选择最优的并行切分组合，如何识别通信瓶颈并实施针对性优化。具体而言，完成本课程后，学员应具备以下能力：

• 诊断能力：能够根据模型参数量、序列长度、批次大小、显存容量等参数，快速估算显存占用分布，识别显存瓶颈所在层（权重、梯度、优化器状态、激活值）。
• 设计能力：掌握数据并行、张量并行、流水线并行、序列并行、专家并行的适用场景与组合策略，能够设计出满足显存约束且通信开销最小的切分方案。
• 优化能力：深入理解AllReduce、AllGather、ReduceScatter、All-to-All等通信原语的实现机制，能够针对不同网络拓扑（NVLink、InfiniBand、RoCE）选择最优的通信算法与拓扑感知调度策略。
• 工程能力：能够使用PyTorch DDP/FSDP、Megatron-LM、DeepSpeed等主流框架实现并行训练，并具备排查通信死锁、负载不均、显存溢出等实际问题的能力。

课程大纲共30章，分为五个模块：模块一（第1-8章）建立并行切分的基础理论，涵盖数据并行、张量并行、流水线并行的原理与实现；模块二（第9-18章）深入通信优化，包括通信原语分析、拓扑感知、梯度压缩、通信计算重叠；模块三（第19-24章）讲解混合并行策略与动态调度，包括3D并行、MoE并行、自动并行搜索；模块四（第25-28章）聚焦工程实践，涵盖故障恢复、显存管理、性能剖析工具；模块五（第29-30章）通过端到端案例，从零构建一个千卡级大模型训练系统。

判断方法：如何评估自己的学习进度

学员可以通过以下三个层次检验学习效果：第一层（概念层），能够清晰解释每种并行策略的切分维度、通信模式与适用边界；第二层（分析层），给定一个具体场景（如70B模型、1024张A100），能够独立完成显存估算、通信量计算与方案选型；第三层（实战层），能够在真实集群上部署并行训练任务，并通过性能剖析工具定位瓶颈，实施至少一项通信优化手段并量化收益。

案例拆解：一个典型的学习目标落地场景

假设学员所在团队需要训练一个130亿参数的稠密语言模型，使用64张A100（80GB显存）节点，节点间通过InfiniBand连接。初始方案采用PyTorch DDP，但发现显存溢出。通过本课程的学习，学员应能够：首先估算模型权重（13B×2字节=26GB）、梯度（26GB）、优化器状态（AdamW需52GB），合计104GB，远超单卡80GB显存，因此必须采用混合并行。进一步分析，若采用张量并行（TP=8）+数据并行（DP=8），则每卡权重降至3.25GB，优化器状态降至6.5GB，加上激活值后总占用约40GB，可以满足显存约束。同时，学员需要评估TP=8带来的通信开销——每层Transformer需要8次AllGather/ReduceScatter，在NVLink带宽下可接受。这个案例展示了从问题诊断到方案设计的完整闭环，也是本课程反复训练的思维模式。

常见误区与总结复盘

复盘要点：并行策略的选择本质是在显存约束、通信开销、计算效率三者之间寻找平衡点。学习过程中应始终带着“如果我来设计，我会怎么选”的主动思考，而不是被动接受结论。

1.2 大模型训练面临的挑战

核心原理：四堵墙的约束

大模型训练面临的核心挑战可以归纳为“四堵墙”：显存墙、通信墙、效率墙、稳定性墙。显存墙指模型参数、梯度、优化器状态和中间激活的总和远超单卡显存容量；通信墙指分布式训练中梯度同步、参数广播、激活传递等通信操作消耗的时间占比随集群规模扩大而急剧上升；效率墙指由于负载不均、气泡（bubble）时间、通信计算未重叠等因素导致的GPU利用率下降；稳定性墙指大规模训练中出现的loss spike、硬件故障、通信超时等问题导致训练中断。这四堵墙相互耦合，例如显存不足可能迫使使用梯度检查点（增加计算）或流水线并行（引入气泡），而通信优化不当又会加剧效率墙问题。

判断方法：如何量化评估挑战的严重程度

在实际工程中，我们通常通过以下步骤量化评估挑战：第一步，计算模型参数量P、批次大小B、序列长度S、层数L、隐藏维度H，估算权重显存（2P字节）、梯度显存（2P字节）、优化器状态（如AdamW为12P字节）、激活值显存（约B×S×H×L×字节数）；第二步，对比单卡显存容量，确定显存缺口；第三步，估算通信量——数据并行下每步AllReduce通信量为2×P×DP大小，张量并行下每层Transformer的AllGather/ReduceScatter通信量为2×B×S×H×TP大小；第四步，结合网络带宽计算通信时间，与计算时间对比，判断通信墙的严重程度。

案例拆解：70B模型训练的挑战全景

以LLaMA-70B为例，模型参数量70B，使用BF16精度，批次大小2M tokens（约2000个序列，序列长度4096）。显存估算：权重140GB，梯度140GB，AdamW优化器状态840GB，合计1120GB，远超单卡80GB。即使使用8卡，每卡也需要140GB，仍然不够。激活值方面，单层激活约B×S×H=2000×4096×8192≈67GB，乘以层数80后更是天文数字，必须依赖激活重计算。通信方面，若使用数据并行DP=64，每步AllReduce通信量为2×70B×2字节×64≈17.9TB，在800Gbps InfiniBand下需要约179秒，而计算时间可能只有几秒，通信墙极其严重。因此必须采用3D混合并行：TP=8（节点内）+PP=8（跨节点）+DP=8（数据并行），将通信量降低到可接受范围。这个案例充分展示了四堵墙的耦合关系——显存墙迫使使用多种并行策略，而并行策略又加剧通信墙，需要精细的通信优化。

常见误区与总结复盘

复盘要点：面对挑战时，应首先建立量化分析的习惯，用数据驱动决策，而不是凭经验猜测。显存估算和通信量估算是两项基本功，后续章节将反复使用。

1.3 并行计算基本概念

核心原理：并行维度的分解

并行计算的核心思想是将一个大任务分解为多个子任务，在多个计算单元上同时执行。在大模型训练场景中，存在三个天然的并行维度：数据维度（训练样本）、模型维度（网络层、权重矩阵）、序列维度（序列）。数据并行（Data Parallelism）将训练数据切分到不同设备，每台设备持有完整模型副本，通过梯度同步保持一致性；张量并行（Tensor Parallelism）将权重矩阵按行或列切分到不同设备，每台设备只持有部分权重，通过通信协作完成矩阵乘法；流水线并行（Pipeline Parallelism）将网络按层切分到不同设备，每台设备负责若干层的计算，通过微批次流水线提高利用率。此外，序列并行（Sequence Parallelism）将序列维度切分，专家并行（Expert Parallelism）将MoE模型中的专家网络分布到不同设备。

判断方法：选择并行策略的决策树

在实际设计中，可以遵循以下决策流程：第一步，判断单卡显存是否足够容纳模型权重+梯度+优化器状态。如果不够，优先考虑数据并行（因为实现最简单），若数据并行后显存仍不够，则引入张量并行或流水线并行。第二步，判断通信拓扑——节点内NVLink带宽高（600GB/s），适合张量并行；节点间InfiniBand带宽低（12.5GB/s），适合流水线并行和数据并行。第三步，计算通信量——张量并行每层通信量随TP大小线性增长，流水线并行通信量仅与层边界数量相关，数据并行通信量与模型大小和DP大小相关。第四步，考虑负载均衡——流水线并行存在气泡时间，需要合理设置微批次数量；专家并行需要关注专家负载不均问题。

案例拆解：从单卡到多卡的演进路径

假设我们有一个7B模型，单卡A100（80GB）可以放下权重（14GB）和优化器状态（84GB），但加上激活值后可能溢出。最简单的方案是数据并行DP=8，每卡处理1/8的批次，每步通过AllReduce同步梯度。此时通信量为2×14GB×8=224GB，在800Gbps网络下约2.24秒。如果计算时间每步为1秒，则通信占比约69%，效率较低。改进方案是采用ZeRO Stage-1（优化器状态切分），将优化器状态分散到8卡，每卡只需存储1/8的优化器状态，通信量不变但显存大幅降低。进一步，如果模型增大到70B，单卡无法放下权重，则需要引入张量并行TP=8，将权重矩阵切分到8卡，此时每卡权重降至17.5GB，但每层Transformer需要额外的AllGather/ReduceScatter通信。这个案例展示了从简单到复杂的并行策略演进路径，也说明了每种策略的引入都有其必然性和代价。

常见误区与总结复盘