1. GPU集群概述：为什么需要多卡同步？

大家好，我是这次课程的主讲。先聊点实在的——你想想看，单张GPU再强，也有天花板。我见过不少团队，一开始觉得“一张A100够用了”，结果模型参数一上10B，训练时间直接按周算。这时候，多卡同步就成了刚需。

1.1 为什么需要多卡同步？

说白了，就是单卡扛不住。我举个例子：

• 显存瓶颈：一张A100 80GB，跑175B的GPT-3？门都没有。模型参数都装不下。
• 算力瓶颈：单卡算力再强，训练一个千亿参数模型也得几个月。你等得起吗？
• 效率瓶颈：数据量大了，单卡处理速度跟不上业务迭代。我有个朋友，他们团队用单卡训推荐模型，一天只能迭代一次，后来换成8卡同步，一天能跑8轮。

所以，多卡同步的核心目的就两个：把模型塞进去，把训练跑快。

1.2 分布式训练的基本概念

聊分布式训练，有几个概念你得先搞明白。我习惯把它们分成三层：

1.2.1 数据并行 vs 模型并行

并行方式	核心思想	适用场景
数据并行	每张卡存一份完整模型，分不同数据批次训练	模型能塞进单卡，但数据量大
模型并行	模型切分到多张卡，每张卡只存一部分	模型太大，单卡装不下
流水线并行	模型按层切分，卡间串行计算	模型层数深，通信开销敏感

我记得刚接触分布式训练时，总以为数据并行就够用了。后来做LLaMA微调，模型一上7B，单卡显存直接爆掉。这才意识到，模型并行才是大模型的“入场券”。

1.2.2 同步与异步的区别

这是今天最核心的部分。我直接说结论：

• 同步训练：所有卡算完一个batch，统一更新梯度。大家步调一致。
• 异步训练：各卡算完就更新，不等别人。谁快谁先走。

你可能会问：“异步不是更快吗？”嗯，理论上是的。但我在实际项目中踩过坑——异步训练虽然吞吐高，但模型收敛不稳定，甚至可能发散。为什么呢？

1.3 同步训练的挑战

同步训练听起来简单，做起来全是坑。我列几个常见的：

• 木桶效应：最慢的那张卡决定整个训练速度。我遇到过某张卡因为散热问题降频，结果整个集群都在等它。
• 通信开销：梯度同步需要网络传输。8卡还好，64卡以上，通信时间可能比计算时间还长。
• 容错问题：一张卡挂了，整个训练就得停。我有个同事，训练跑了三天，一张卡OOM，全白干。

1.4 知识体系总览

下面这张图，是我梳理的本章核心逻辑。你可以把它当作后续学习的“地图”：

1.5 小结

这一章我们聊了：

• 为什么需要多卡同步——显存、算力、效率三个瓶颈
• 分布式训练的基本概念——数据并行、模型并行、流水线并行
• 同步与异步的核心区别——同步稳定但慢，异步快但可能发散
• 同步训练的三个挑战——木桶效应、通信开销、容错

嗯，这些是基础中的基础。后面我们会深入每个技术细节，包括AllReduce算法、梯度压缩、通信拓扑优化等等。你先把这些概念消化掉，后面实战才不会懵。