GPU选型：NVIDIA/AMD/国产GPU对比、显存容量与带宽、Tensor Core/流处理器、适合训练/推理的GPU型号推荐
核心原理：GPU算力的三大支柱
GPU选型不能只看“显存大不大”或“核心多不多”，必须从计算精度体系、显存子系统、专用加速单元三个维度综合评估。训练任务依赖FP16/BF16的混合精度吞吐，推理任务则更看重INT8/FP8的能效比；显存容量决定单卡可承载的模型规模，显存带宽决定数据搬运速度；Tensor Core（NVIDIA）、Matrix Core（AMD）、矩阵加速单元（国产）则直接决定矩阵乘法的执行效率。
显存容量与带宽：模型能否跑起来的硬约束
显存容量直接决定单卡能否加载目标模型。以LLaMA-70B为例，FP16权重需140GB，即使使用INT8量化仍需70GB，这意味着单卡必须选择H100 NVL（94GB）或A100 80GB×2张。显存带宽则影响训练时的数据读取效率，尤其是Attention层和FFN层的矩阵运算。HBM3e相比GDDR6X带宽提升约3倍，但成本也显著增加。
| GPU型号 | 显存容量 | 显存带宽 | 适用场景 |
|---|---|---|---|
| NVIDIA H100 SXM | 80GB HBM3 | 3.35TB/s | 大模型预训练 |
| NVIDIA A100 80GB | 80GB HBM2e | 2.0TB/s | 通用训练/微调 |
| NVIDIA L40S | 48GB GDDR6 | 864GB/s | 推理+轻量训练 |
| AMD MI300X | 192GB HBM3 | 5.2TB/s | 超大模型推理 |
| 华为昇腾910B | 64GB HBM2e | 1.6TB/s | 国产化训练 |
Tensor Core与流处理器：算力的微观差异
NVIDIA从Volta架构引入Tensor Core，专门执行4×4矩阵乘加运算。以H100为例，其FP16 Tensor Core算力达到989 TFLOPS（稀疏），而普通CUDA核心FP32算力仅67 TFLOPS，差距约15倍。AMD的Matrix Core类似，但ROCm软件栈对PyTorch的原生支持仍弱于CUDA。国产GPU中，昇腾910B的AI Core采用达芬奇架构，支持FP16/INT8，但算子生态仍需完善。
# 查看GPU Tensor Core利用率（NVIDIA）
nvidia-smi --query-gpu=tensor_core_utilization --format=csv
# 输出示例
# tensor_core_utilization
# 87 %流处理器（CUDA Core/Stream Processor）数量影响通用计算能力，但在深度学习场景中，Tensor Core才是主力。选型时应关注Tensor Core的FP16/BF16稠密与稀疏算力，而非单纯比较核心数。例如A100的Tensor Core FP16算力为312 TFLOPS，而RTX 4090虽拥有更多CUDA核心，但Tensor Core算力仅165 TFLOPS，且不支持NVLink，多卡训练效率受限。
适合训练与推理的GPU型号推荐
训练场景需要高算力、大显存、高速互联。推理场景则更关注延迟、吞吐量和能效比。以下为不同预算和场景的推荐清单：
- 旗舰训练：NVIDIA H100 SXM（80GB）或H200（141GB），支持NVLink 900GB/s互联，适合千亿级参数预训练。
- 性价比训练：NVIDIA A100 80GB（二手或云租赁），或AMD MI300X（192GB显存，适合长序列训练）。
- 中小规模微调：NVIDIA L40S（48GB）或RTX 6000 Ada（48GB），单卡可微调7B~13B模型。
- 在线推理：NVIDIA L4（24GB）或A10（24GB），INT8算力高，功耗低。
- 国产化替代：华为昇腾910B（64GB）用于训练，寒武纪MLU370-X8（32GB）用于推理。
案例：70B模型训练与推理的选型对比
某企业计划部署LLaMA-70B的微调与在线推理服务。训练阶段选用8卡H100 SXM，通过NVLink全互联，配合ZeRO-3优化器将模型参数分片到各卡显存。推理阶段则采用2张A100 80GB，使用TensorRT-LLM进行INT8量化，将单卡吞吐提升至约2000 tokens/s。
若采用国产方案，训练可用8张昇腾910B，但需将PyTorch代码迁移至MindSpore或使用昇腾适配的PyTorch分支，部分自定义算子需重写。推理阶段可选用寒武纪MLU370，其INT8算力在ResNet-50等CV模型上表现优异，但LLM的算子覆盖度仍需验证。
误区与复盘：选型中的常见陷阱
误区一：认为“显存越大越好”。某团队选用MI300X（192GB）训练7B模型，但实际仅使用40GB显存，而ROCm的通信库RCCL性能不如NCCL，导致多卡扩展效率仅达到NVIDIA方案的70%。复盘：显存容量应匹配模型规模，而非盲目求大。
误区二：忽略NVLink/Infinity Fabric的互联带宽。使用PCIe 4.0 x16互联的8卡A100，其All-Reduce通信耗时比NVLink全互联高约3倍，导致训练吞吐下降40%。复盘：多卡训练必须考虑互联拓扑，SXM版本优先于PCIe版本。
误区三：推理场景直接复用训练GPU。训练卡功耗高（H100达700W），部署成本高。实际推理可采用L4（72W）或A10（150W），在INT8精度下能效比提升5倍以上。复盘：训练与推理应分开选型，推理卡更关注延迟和功耗。