3. 硬件基础
在大模型训练中，吞吐量瓶颈往往不是单一因素造成的，而是GPU内部计算能力、显存带宽、卡间互联带宽与主机接口带宽共同作用的结果。理解这些硬件组件的分工与制约关系，是进行有效调优的前提。本节将从GPU架构出发，逐层分析显存带宽、计算单元、NVLink与PCIe对训练吞吐量的实际影响。
一、GPU架构：吞吐量的物理底座
现代数据中心GPU（如NVIDIA A100/H100）采用流式多处理器（SM）阵列架构。每个SM包含CUDA核心、Tensor Core、寄存器文件、共享内存/L1缓存以及调度单元。大模型训练的核心计算——矩阵乘法与卷积——主要依赖Tensor Core完成，而CUDA核心负责向量运算、索引计算与控制流。
GPU的吞吐量上限由三个维度共同决定：计算吞吐（FLOPS）、显存带宽（GB/s）和互联带宽（GB/s）。三者中任何一项成为短板，都会导致其他资源闲置。例如，当显存带宽不足时，Tensor Core会因等待数据而空转，表现为SM利用率低但显存控制器接近饱和。
二、显存带宽：大模型训练的隐形天花板
显存带宽决定了GPU每秒能从HBM中读取多少参数、激活值和梯度。以A100为例，其HBM2e带宽约为2039 GB/s，而H100 SXM的HBM3带宽可达3350 GB/s。大模型训练中，每个训练步都需要读取模型参数、优化器状态和激活值，显存访问量巨大。
当模型参数量超过单卡显存容量时，必须使用张量并行或流水线并行，此时卡间通信量急剧上升。即使计算单元没有满载，显存带宽也可能先达到瓶颈。典型表现是：nvidia-smi显示GPU利用率接近100%，但实际FLOPS利用率（通过DCGM或Nsight测量）不足60%。
Memory Workload Analysis面板，查看DRAM Throughput是否超过80%。若超过，说明显存带宽是当前瓶颈，应优先优化数据复用（如增大batch size、使用梯度累积）或启用激活重计算。
三、计算单元：Tensor Core利用率决定上限
Tensor Core是矩阵乘法的专用加速单元。以A100为例，其FP16 Tensor Core峰值算力为312 TFLOPS，而FP32 CUDA Core仅为19.5 TFLOPS。大模型训练通常使用混合精度（FP16/BF16 + FP32主权重），因此Tensor Core利用率直接决定训练吞吐量。
影响Tensor Core利用率的因素包括：矩阵维度是否对齐（如16的倍数）、是否存在大量小算子、是否频繁进行精度转换。当矩阵维度不是8或16的倍数时，Tensor Core会降级使用，导致算力浪费。
# 查看GPU计算能力与Tensor Core支持
nvidia-smi --query-gpu=name,compute_cap,memory.total --format=csv
# 输出示例
name, compute_cap, memory.total [MiB]
NVIDIA A100-SXM4-80GB, 8.0, 81920 MiB
NVIDIA H100-SXM5-80GB, 9.0, 81920 MiB四、NVLink与PCIe：互联带宽如何影响扩展效率
单卡算力再强，也无法独立训练千亿参数模型。多卡互联带宽决定了并行策略的扩展效率。NVLink提供GPU间高带宽直连，而PCIe是GPU与CPU及其他设备的标准接口。
| 互联方式 | 典型带宽 | 适用场景 | 对吞吐量影响 |
|---|---|---|---|
| NVLink 3.0 (A100) | 600 GB/s | 张量并行、流水线并行 | 高，通信开销低 |
| NVLink 4.0 (H100) | 900 GB/s | 大规模张量并行 | 极高，接近线性扩展 |
| PCIe 4.0 x16 | 32 GB/s | 数据加载、梯度同步 | 低，易成瓶颈 |
| PCIe 5.0 x16 | 64 GB/s | 高速数据加载 | 中等，仍低于NVLink |
当使用张量并行时，每层前向和反向都需要All-Reduce通信。若通信走PCIe而非NVLink，带宽下降近20倍，通信时间可能超过计算时间，导致扩展效率急剧下降。因此，在8卡节点内优先使用NVLink，跨节点则依赖InfiniBand或RoCE。
五、案例：从PCIe瓶颈到NVLink优化的吞吐量提升
某团队在8卡A100服务器上训练13B模型，使用张量并行（TP=8）。初始配置下，每步耗时约1.2秒，扩展效率仅65%。通过NCCL测试发现，All-Reduce带宽仅约25 GB/s，远低于NVLink理论值600 GB/s。检查发现，训练框架默认使用了PCIe进行通信，未启用NVLink P2P。
优化措施：设置NCCL_P2P_LEVEL=NVL，并确保nvidia-smi topo -m显示GPU间为NVLink连接。调整后，All-Reduce带宽提升至约480 GB/s，每步耗时降至0.75秒，扩展效率提升至92%，吞吐量提升约60%。
# 检查GPU拓扑与NVLink连接状态
nvidia-smi topo -m
# 输出示例（部分）
# GPU0 GPU1 GPU2 GPU3
# GPU0 X NV12 NV12 NV12
# GPU1 NV12 X NV12 NV12
# NV12表示12条NVLink连接
# 设置NCCL使用NVLink
export NCCL_P2P_LEVEL=NVL
export NCCL_IB_DISABLE=1 # 单节点内禁用IB，强制走NVLink六、复盘：硬件瓶颈诊断的优先级
面对吞吐量问题，建议按以下顺序排查：
- 计算单元：检查Tensor Core利用率，确认矩阵维度对齐、混合精度已启用。
- 显存带宽：使用Nsight测量DRAM吞吐，若超过80%则优化数据复用。
- NVLink：多卡训练时，用NCCL测试确认卡间带宽是否达到预期。
- PCIe：检查数据加载、CPU-GPU传输是否成为瓶颈，必要时使用 pinned memory 和异步拷贝。
硬件是吞吐量的物理上限，软件调优只能在给定硬件条件下逼近该上限。理解GPU架构、显存带宽、计算单元、NVLink与PCIe的相互作用，才能准确判断瓶颈所在，避免盲目调参。