GPU架构详解：NVIDIA、AMD等主流GPU架构、性能指标与选型要点

GPU（图形处理器）在AI算力集群中承担着绝大部分矩阵运算与张量计算任务。理解GPU的底层架构差异，是进行算力集群硬件选型、性能评估与故障排查的基础。本章聚焦NVIDIA与AMD两大主流厂商的GPU架构，梳理其核心设计理念、关键性能指标，并给出面向不同AI工作负载的选型建议。

4.1 核心架构原理：从SIMT到张量核心

现代GPU普遍采用SIMT（单指令多线程）执行模型。一个指令被多个线程同时执行，但每个线程处理不同的数据。这种设计天然适合矩阵乘法、卷积等高度并行的AI计算。然而，仅靠通用计算单元（CUDA Core / Stream Processor）执行AI算子效率较低，因此主流架构均引入了专用加速单元。

CUDA Core（NVIDIA）：负责FP32/INT32等通用计算，是基础算力来源。
Tensor Core（NVIDIA）：专为FP16/BF16/INT8等低精度矩阵运算设计，吞吐量数倍于CUDA Core，是训练与推理加速的关键。
Stream Processor（AMD）：AMD的通用计算单元，配合Matrix Core（CDNA架构中的矩阵加速单元）实现类似Tensor Core的功能。
显存子系统：包括显存容量、带宽（HBM vs GDDR）与缓存层次（L1/L2），直接决定数据搬运效率。

以NVIDIA Hopper架构（H100）为例，其关键设计包括：

SM（流式多处理器）结构：
- 128个FP32 CUDA Core
- 4个Tensor Core（第四代，支持FP8）
- 64个INT32单元
- 大容量L1/共享内存（最高228KB可配置）
- 支持异步拷贝与线程块集群

AMD的CDNA 2/3架构（MI250X/MI300X）则采用更激进的Chiplet设计，将计算芯粒（GCD）与I/O芯粒分离，通过Infinity Fabric互联。其Matrix Core支持FP16/BF16/FP8，且显存容量通常更大（MI300X达192GB HBM3）。

4.2 性能指标体系：如何读懂GPU规格表

选型时不能只看“显存大小”或“核心数”，需综合以下指标进行量化评估：

指标类别	具体参数	对AI负载的影响
算力	FP32 TFLOPS、TF32 TFLOPS、FP16/BF16 TFLOPS、INT8 TOPS	决定训练/推理吞吐上限，低精度算力越高，加速效果越明显
显存	容量（GB）、带宽（GB/s）、类型（HBM2e/HBM3/GDDR6X）	容量决定模型规模上限，带宽决定数据供给速度，两者共同影响实际训练效率
互联	NVLink带宽、PCIe Gen5、Infinity Fabric	多卡通信效率，直接影响分布式训练扩展性
功耗与散热	TDP（W）、散热方式（风冷/液冷）	影响机柜功率密度与制冷设计，液冷可支撑更高功耗卡
生态兼容	CUDA版本、ROCm支持、框架适配度	决定软件栈迁移成本，NVIDIA生态更成熟，AMD ROCm逐步完善

关键认知：峰值TFLOPS是理论值，实际训练效率受显存带宽、互联拓扑、算子库优化程度（如cuDNN、rocBLAS）影响巨大。例如，两张标称算力相同的卡，因显存带宽差异，实际训练吞吐可能相差20%以上。

4.3 主流架构对比：NVIDIA vs AMD

当前AI集群中，NVIDIA占据绝对主导地位，但AMD在性价比与显存容量上具备竞争力。以下从架构代际与适用场景进行对比：

4.3.1 NVIDIA Ampere（A100）与Hopper（H100）

A100（Ampere）：40GB/80GB HBM2e，支持TF32与FP16，NVLink 3.0（600GB/s）。适合中小规模训练与推理，生态成熟，软件兼容性最佳。
H100（Hopper）：80GB HBM3，引入Transformer Engine（自动选择FP8/FP16），NVLink 4.0（900GB/s）。针对大模型训练优化，FP8算力是A100的6倍，但功耗高达700W，需液冷或强风冷。
H200：H100的显存升级版，141GB HBM3e，带宽提升至4.8TB/s，适合超大模型推理与训练。

4.3.2 AMD CDNA 2（MI250X）与CDNA 3（MI300X）

MI250X：128GB HBM2e，双GCD设计，Infinity Fabric带宽400GB/s。FP16算力与A100相当，但显存容量更大，适合大batch训练。
MI300X：192GB HBM3，带宽5.2TB/s，FP16算力达1307 TFLOPS（稀疏）。在LLM推理场景中，单卡可容纳更大模型，减少多卡拆分通信开销。

  选型要点：若团队依赖PyTorch/TensorFlow且追求开箱即用，优先NVIDIA；若预算有限且模型显存需求极高（如70B+参数推理），AMD MI300X的192GB显存可显著降低多卡并行复杂度。但需评估ROCm对特定算子（如FlashAttention、MoE）的支持成熟度。

4.4 案例：大模型训练GPU选型与配置

假设需训练一个70B参数的LLM，采用Adam优化器，混合精度（BF16）训练。计算显存需求：

模型权重：70B × 2字节（BF16）= 140GB
梯度：70B × 2字节 = 140GB
优化器状态（Adam）：70B × 12字节（FP32主权重+动量+方差）= 840GB
总显存需求 ≈ 1120GB（不含激活值）

若使用H100（80GB），需至少14张卡进行ZeRO-3或张量并行。若使用MI300X（192GB），则需6张卡即可满足基础需求，但需考虑激活值显存与通信开销。实际配置建议：

训练吞吐优先：选择H100，利用NVLink高速互联与成熟分布式框架（Megatron-LM、DeepSpeed），扩展性更优。
显存容量优先：选择MI300X，减少并行切分数量，降低通信瓶颈，但需验证ROCm下的框架兼容性。
推理部署：若单卡可容纳模型（如70B用MI300X），可避免多卡推理的KV Cache分发开销，延迟更低。

4.5 常见误区与复盘

误区一：只看FP16 TFLOPS，忽略显存带宽。 例如，某GPU FP16算力高但显存带宽仅1TB/s，实际训练中数据搬运成为瓶颈，GPU利用率可能不足50%。复盘时应通过nvidia-smi dmon或rocm-smi监控显存带宽利用率。

误区二：认为显存越大越好，忽略互联拓扑。 多卡训练时，若卡间通信带宽不足（如仅PCIe 4.0 x16），即使显存充足，梯度同步也会拖慢整体速度。建议优先选择支持NVLink/Infinity Fabric的机型，并采用NVSwitch全互联拓扑。

误区三：忽略功耗与散热约束。 H100 TDP达700W，单机柜若部署8卡，功率需求超5.6kW，需配套液冷或高密度风冷。否则GPU因过热降频，实际性能远低于标称值。选型前务必核算机房电力与制冷能力。

复盘案例：某团队选用8卡A100训练GPT-3 175B模型，初期仅按FP16算力估算，认为足够。实际运行中因显存带宽不足（A100带宽2TB/s vs H100 3.35TB/s），且ZeRO-3通信开销大，训练吞吐仅为预期的60%。后调整为张量并行+流水线并行混合策略，并启用梯度压缩，吞吐提升至预期的85%。此案例说明，选型需结合具体并行策略与通信模式，而非单纯堆叠算力。

综上，GPU选型应遵循“模型规模定显存，训练吞吐定算力，扩展规模定互联，机房环境定功耗”的原则。理解架构差异与指标含义，才能避免“纸面算力”与“实际性能”的落差。