第一课：课程导论与硬件认知——为什么需要多机多卡？
大家好，我是这门课的主讲。先聊点实在的。
你想想看，现在做大模型训练，单张显卡能干啥？一张 A100 80G，跑个 7B 参数的模型都费劲。更别提那些动辄几百上千亿参数的模型了。说白了，单卡时代已经过去了。
我刚开始接触分布式训练时，也踩过不少坑。记得有一次，我为了省成本，用四张卡硬跑一个 13B 的模型，结果显存爆了，训练到一半直接 OOM。后来我才明白——多机多卡不是选择题，而是必答题。
1.1 为什么需要多机多卡？
核心原因就三个：
- 显存不够：单卡显存有限，模型参数、梯度、优化器状态都得占地方。一张 80G 的卡，放个 13B 模型就快满了。
- 训练太慢：单卡训练一个 175B 的模型，得跑几个月。多卡并行，时间能缩短到几天甚至几小时。
- 算力瓶颈：单卡的算力是固定的，多卡叠加才能突破天花板。
一句话总结：多机多卡的本质，是用空间换时间，用规模换效率。
1.2 GPU 服务器硬件架构概览
搞懂了为什么，咱们再来看看硬件长什么样。嗯，这里我画了一张图，帮你理清思路。
这张图展示了一台 4 卡 GPU 服务器的内部结构。你看，GPU 之间通过 NVLink 直连，速度极快。然后所有 GPU 通过 PCIe Switch 连接到 CPU 和内存。最后，通过 InfiniBand 把多台服务器连起来。
1.3 三种关键互联技术
这里我重点讲三个东西，你面试、调优都会遇到。
| 技术 | 带宽 | 延迟 | 典型场景 |
|---|---|---|---|
| PCIe 4.0 x16 | ~32 GB/s | ~1 μs | CPU-GPU 通信 |
| NVLink 3.0 | ~600 GB/s（双向） | ~0.1 μs | GPU-GPU 直连 |
| InfiniBand HDR | ~200 Gb/s | ~1 μs | 跨机通信 |
我的经验：PCIe 是瓶颈大户。我曾经在项目里发现，GPU 利用率只有 30%，查了半天，原来是 PCIe 带宽被占满了。后来换成 NVLink，利用率直接飙到 90%。
1.4 避坑指南
我曾经踩过的坑：
- 别以为买了 8 卡机器就能跑 8 倍速。通信开销会吃掉一部分性能。
- NVLink 不是所有 GPU 都支持。老卡（比如 V100）只有部分型号有。
- InfiniBand 的线缆很贵，而且容易坏。我建议多备几根。
1.5 小结
这一课，我们搞清楚了三个问题：
- 为什么需要多机多卡？——显存、速度、算力。
- 硬件长什么样？——GPU、PCIe、NVLink、InfiniBand。
- 怎么选？——看预算、看模型大小、看通信需求。
嗯，内容不多，但都是基础。下一课我们会深入讲网络配置，到时候手把手教你搭环境。