3. GPU服务器硬件：GPU板卡类型、CPU、内存、本地存储与互连架构
3.1 GPU板卡类型：从A100到H100的代际差异
超大规模GPU数据中心中，服务器硬件以GPU为绝对核心。当前主流的训练与推理加速卡主要来自NVIDIA的Ampere与Hopper两代架构，其中A100与H100是最具代表性的板卡。两者虽然都采用PCIe或SXM（Server Express Module）两种物理形态，但在计算精度、显存带宽与互连能力上存在显著代差。
| 参数维度 | A100 (SXM4, 80GB) | H100 (SXM5, 80GB) |
|---|---|---|
| 架构代号 | Ampere | Hopper |
| FP16 Tensor Core算力 | 312 TFLOPS | 989 TFLOPS（稀疏） |
| 显存带宽 | 2.0 TB/s (HBM2e) | 3.35 TB/s (HBM3) |
| NVLink带宽 | 600 GB/s（12条链路） | 900 GB/s（18条链路） |
| PCIe支持 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| 多实例GPU (MIG) | 最多7实例 | 最多7实例（增强隔离） |
在板卡选型时，需要关注功耗墙与散热形态。A100 SXM4的TDP为400W，而H100 SXM5的TDP高达700W。这意味着H100服务器必须采用更激进的液冷或高风量风冷方案，否则GPU会因热节流（Thermal Throttling）而降频，导致实际训练吞吐远低于理论峰值。
实操要点：在采购GPU服务器时，不要只看FP16算力标称值。务必核对nvidia-smi -q | grep -E "Max Clocks|Power Limit"输出的实际运行频率与功耗上限，并确认服务器供电冗余是否支持8卡满载时的峰值功耗（例如8×H100 SXM5需要约6kW GPU功耗，加上CPU与内存，整机柜供电需预留10kW以上）。
3.2 CPU、内存与本地存储的配套选型
GPU服务器中的CPU并非计算主力，但承担着任务调度、数据预处理、驱动管理、NVMe存储访问等关键职责。主流8卡GPU服务器通常采用双路Intel Xeon或AMD EPYC处理器，每颗CPU提供64~96条PCIe 5.0通道，用于连接GPU、NVMe SSD与高速网卡。
内存配置遵循“CPU内存容量 ≈ GPU显存总容量的1/8~1/4”的经验法则。以8×H100 80GB为例，显存总量为640GB，系统内存建议配置512GB~1TB DDR5 ECC内存。内存通道必须全部插满以发挥CPU的最大内存带宽，否则CPU侧的数据预处理会成为训练管线的瓶颈。
本地存储采用NVMe SSD（通常为U.2或E3.S形态），每台服务器配置4~8块，容量从3.84TB到30TB不等。本地盘主要用于存放：
- 操作系统与驱动（约200GB）
- 训练框架与容器镜像缓存（约1~2TB）
- 数据集暂存（用于从分布式存储拉取后的本地缓存）
- 检查点（Checkpoint）临时写入
选型建议：对于大规模训练，本地NVMe建议选择高耐久度（DWPD≥1）的企业级盘，因为检查点频繁写入会快速消耗消费级SSD寿命。同时，RAID卡建议使用HBA直通模式（IT模式）而非硬RAID，以便让训练框架直接管理块设备并减少RAID重建对训练的影响。
3.3 PCIe与NVLink互连：数据通路的双轨设计
GPU服务器内部存在两条并行数据通路，理解它们的区别是硬件调优的基础：
- PCIe 5.0通路（管理面与控制面）：CPU通过PCIe Switch与GPU通信，用于加载驱动、下发任务、读取GPU状态（如温度、功耗）、传输小规模控制数据。单条PCIe 5.0 x16的理论带宽为64GB/s（双向），但实际有效带宽约50GB/s。
- NVLink通路（数据面）：GPU之间通过NVLink进行张量并行（Tensor Parallelism）和流水线并行（Pipeline Parallelism）所需的高频数据交换。H100 SXM5的NVLink带宽为900GB/s（双向），是PCIe 5.0的14倍以上。
在8卡H100服务器中，NVLink采用NVSwitch全互连拓扑：每颗GPU通过18条NVLink链路连接到4颗NVSwitch芯片，任意两颗GPU之间都能以全带宽通信，无需经过CPU转发。这种设计对Megatron-LM的张量并行至关重要——每个Transformer层的张量切分需要在8颗GPU之间进行All-Reduce通信，若走PCIe则通信延迟会放大5~10倍。
# 查看GPU间NVLink连接状态（在GPU服务器上执行）
nvidia-smi nvlink -s
# 输出示例：
# GPU 0: GPU 1 : 18/18 条链路已连接，速率 100 GB/s/链路
# GPU 0: GPU 2 : 18/18 条链路已连接，速率 100 GB/s/链路
# ...
# GPU 0: CPU 0 : PCIe 5.0 x16，当前速率 32 GT/s3.4 典型故障场景与复盘：PCIe降速引发的“幽灵”性能瓶颈
案例背景：某训练集群中，8×H100服务器在运行GPT-3 175B模型时，吞吐量仅为同配置服务器的60%。GPU利用率显示为85%~95%，但训练步长时间异常拉长。
排查过程：
- 第一步：检查
nvidia-smi dmon，发现GPU利用率波动正常，但SM活跃度偏低。 - 第二步：执行
nvidia-smi nvlink -s，发现GPU 3与GPU 5之间的NVLink链路仅8/18条处于活动状态。 - 第三步：检查系统日志，发现GPU 3的PCIe链路从Gen5降级到Gen3，原因是PCIe插槽的供电针脚氧化导致信号完整性下降。
- 第四步：重新插拔GPU并清洁金手指后，NVLink链路恢复18/18，训练吞吐恢复正常。
误区警示：不要将“GPU利用率高”等同于“GPU计算效率高”。当NVLink降速或PCIe链路降级时，GPU核心仍在等待数据到达，利用率虚高但实际有效计算时间占比（SM Busy%）会明显下降。日常巡检应同时关注nvidia-smi nvlink -s和nvidia-smi -q -d PCI中的链路速率字段，确保所有互连链路处于满速状态。
复盘要点：GPU服务器硬件故障中，互连链路问题（NVLink断链、PCIe降速）占比超过30%，且往往表现为“软性性能下降”而非硬故障。建议将链路健康检查纳入每周例行巡检脚本，并配置告警阈值——当NVLink活动链路数低于15/18或PCIe速率低于Gen4时立即触发工单。