GPU基础架构：从硬件组成到协同计算
GPU早已不是单纯的图形渲染加速器，而是AI训练中承担海量并行计算的核心引擎。要真正理解GPU资源管理与优化，首先必须穿透驱动层和框架层，看清GPU的物理本质——它由哪些计算单元构成、数据如何流动、与CPU如何分工协作，以及不同型号之间的关键差异。本章将从硬件组成、协同工作原理和主流型号对比三个维度，建立你对GPU硬件的系统性认知。
2.1 GPU硬件组成：SM、显存与带宽
核心原理：从流处理器到流多处理器
GPU的并行计算能力源于其高度并行的硬件组织方式。最基本的计算单元是CUDA Core（在NVIDIA架构中），它执行整数和浮点运算。但单个CUDA Core能力有限，真正体现架构设计的是将这些核心组织成流多处理器（Streaming Multiprocessor, SM）。以A100为例，每个SM包含64个FP32 CUDA Core、4个第三代Tensor Core、32个LD/ST单元和16个SFU（特殊函数单元），同时配备128KB共享内存和64K×32bit的寄存器文件。SM内部有4个Warp Scheduler，每个调度器每周期可发射一条指令到32个线程组成的Warp。
多个SM再组成图形处理簇（GPC），A100共有7个GPC，每个GPC包含8个SM，总计108个SM（实际启用108个）。这种层级结构决定了GPU的并行粒度：线程→Warp（32线程）→线程块（Block）→线程网格（Grid），映射到硬件上就是：CUDA Core→SM→GPC→GPU。
显存与带宽：数据供给的瓶颈
显存（VRAM）是GPU的"工作台"，所有训练数据、模型参数和中间激活值都必须驻留在显存中。A100采用HBM2e（高带宽内存），提供40GB或80GB两种容量选项，带宽高达2TB/s（80GB版本为3.35TB/s）。HBM通过硅中介层将多个DRAM die堆叠并与GPU芯片封装在一起，相比传统GDDR6显存，带宽提升数倍而功耗更低。
带宽决定了数据从显存到SM的传输速率。一个直观的计算：如果模型参数为80GB，在3.35TB/s带宽下，完整读取一次参数需要约24ms。但在实际训练中，每个step需要多次读取参数和激活值，因此带宽往往成为训练吞吐量的关键约束。下表对比了不同显存技术的核心参数：
| 显存类型 | 单颗容量 | 带宽（单颗） | 总线位宽 | 典型应用 |
|---|---|---|---|---|
| GDDR6 | 8-16GB | 64-128 GB/s | 32-64 bit | RTX 3090/4090 |
| HBM2e | 16-32GB | 460 GB/s | 1024 bit | A100 40GB |
| HBM3 | 24-64GB | 819 GB/s | 1024 bit | H100 80GB |
| HBM3e | 32-64GB | 1.2-1.5 TB/s | 2048 bit | H200、B200 |
案例拆解：为什么A100 80GB比40GB版本训练更快？
某大模型团队在训练175B参数模型时，对比了A100 40GB和80GB两种配置。初始现象：40GB版本需要采用ZeRO-3 + 梯度检查点技术，将模型分片到64张卡上；而80GB版本只需ZeRO-2，使用32张卡即可。关键差异在于：40GB版本因显存不足，需要频繁进行CPU-GPU间的参数交换（offload），每次交换的PCIe传输延迟约50μs，导致训练效率下降约30%。而80GB版本将全部参数驻留显存，带宽瓶颈从PCIe（64GB/s）转移到了HBM2e（3.35TB/s），训练吞吐量提升了2.1倍。这个案例说明：显存容量不仅决定能否训练大模型，更直接影响训练效率。
2.2 GPU与CPU协同工作原理
核心原理：异构计算的职责划分
CPU与GPU在AI训练中扮演不同角色：CPU负责控制流——数据加载、预处理、模型调度、梯度聚合、日志记录等串行任务；GPU负责数据流——矩阵乘法、卷积、激活函数等并行计算。两者通过PCIe总线连接，数据以页锁定内存（Pinned Memory）方式传输，避免操作系统页面置换带来的延迟。
协同工作的核心机制是异步执行。CUDA编程模型允许CPU在发起GPU内核执行后立即返回，继续执行其他任务，而不必等待GPU完成。这通过CUDA Stream实现——多个Stream可以并发执行，只要它们之间没有数据依赖。同时，CUDA事件（Event）用于同步和计时，确保数据依赖关系正确。
操作流程：一次完整的训练迭代
- 数据准备（CPU）：CPU从磁盘/网络读取数据，进行解码、增强、归一化，打包成batch并传输到GPU显存（使用cudaMemcpyAsync）。
- 前向传播（GPU）：GPU执行多个内核（Kernel），每个内核对应一层网络。内核间通过全局同步或Stream依赖保证顺序。
- 损失计算（GPU）：计算损失值，通常涉及归约操作。
- 反向传播（GPU）：计算梯度，同样以内核形式执行。
- 梯度同步（CPU+GPU）：多卡训练时，CPU通过NVLink或PCIe聚合梯度，执行AllReduce操作。
- 参数更新（CPU）：CPU根据优化器算法更新参数，或由GPU上的优化器内核完成。
案例拆解：CPU瓶颈导致的GPU利用率低下
某推荐系统训练任务中，GPU利用率仅为45%。通过nvidia-smi和nsys分析发现：每个step中GPU实际计算时间仅占40%，其余时间在等待数据。进一步定位：CPU端的数据加载管线使用Python多进程，但每个进程的预处理逻辑包含大量字符串操作，导致CPU吞吐量仅为GPU消费能力的60%。解决方案：①将预处理改为C++扩展（PyTorch C++ DataLoader）；②使用GPU上的DALI库进行数据增强；③增加预取缓冲区（prefetch_factor=4）。优化后GPU利用率提升至92%，训练吞吐量从1200 samples/s提升至2600 samples/s。
2.3 主流GPU型号对比：A100/V100/H100
核心原理：架构代际演进
NVIDIA数据中心GPU的演进遵循"架构-制程-特性"三重升级。V100基于Volta架构（2017年，12nm），首次引入Tensor Core，专为深度学习设计；A100基于Ampere架构（2020年，7nm），强化Tensor Core并支持TF32和稀疏化；H100基于Hopper架构（2022年，4nm），引入Transformer Engine和DPX指令，针对大模型优化。下表从关键维度对比三款GPU：
| 参数 | V100 | A100 | H100 |
|---|---|---|---|
| 架构 | Volta | Ampere | Hopper |
| 制程 | 12nm | 7nm | 4nm |
| SM数量 | 80 | 108 | 132 |
| CUDA Core | 5120 | 6912 | 16896 |
| Tensor Core | 640（一代） | 432（三代） | 528（四代） |
| FP32算力 | 15.7 TFLOPS | 19.5 TFLOPS | 67 TFLOPS |
| TF32算力 | 不支持 | 156 TFLOPS | 495 TFLOPS |
| FP16算力 | 125 TFLOPS | 312 TFLOPS | 990 TFLOPS |
| 显存容量 | 16/32GB | 40/80GB | 80GB |
| 显存带宽 | 900 GB/s | 2.0/3.35 TB/s | 3.35 TB/s |
| NVLink带宽 | 300 GB/s | 600 GB/s | 900 GB/s |
| 功耗 | 300W | 400W | 700W |
选型判断方法：根据训练场景匹配
- 模型规模：如果模型参数量超过10B，优先选择80GB显存版本；超过100B则需考虑多卡并行，此时NVLink带宽成为关键。
- 精度需求：FP32训练选A100（TF32加速）；FP16/BF16训练选H100（Transformer Engine自动选择精度）；INT8推理选A100或H100。
- 集群规模：大规模集群（>100卡）需考虑功耗和散热，H100的700W功耗对数据中心基础设施提出更高要求。
- 成本效益：V100在二手市场性价比高，适合预算有限且模型较小的场景；H100适合追求极致训练速度的头部企业。
案例拆解：从V100迁移到H100的收益与代价
某AI公司原使用128卡V100训练规模模型（175B），每个step耗时12.8秒，完整训练需45天。迁移到H100后，单卡算力提升4.2倍（FP16），显存带宽提升3.7倍，但功耗从300W升至700W。实际效果：使用64卡H100（总功耗44.8kW vs 原38.4kW），每个step耗时降至4.1秒，训练周期缩短至18天。关键收益：①训练时间减少60%；②卡数减半，机房空间节省；③NVLink带宽提升3倍，多卡通信效率更高。代价：①硬件采购成本约3倍；②需要升级电源和散热系统；③CUDA代码需适配Hopper架构（部分算子需重写）。