硬件选型：GPU型号对比与整机配套选型

AI算力集群的硬件选型不是“堆料”，而是一套围绕计算密度、显存容量、互联带宽、功耗散热四个维度展开的工程决策。GPU是算力核心，但CPU、内存、存储和网络设备决定了GPU能否被“喂饱”数据、能否高效协同。本章从GPU型号对比切入，再逐层展开配套硬件的选型逻辑。

4.1 GPU型号对比：A100与H100的工程差异

NVIDIA A100和H100是当前数据中心最主流的训练级GPU。两者都基于Ampere和Hopper架构，但面向的负载特征不同。选型不能只看峰值算力，更要看显存带宽、NVLink拓扑、Tensor Core能力以及功耗与散热约束。

维度	A100 80GB PCIe	A100 80GB SXM	H100 SXM5 80GB	H100 NVL 94GB
FP16 Tensor Core	312 TFLOPS	312 TFLOPS	989 TFLOPS	989 TFLOPS
显存带宽	1,935 GB/s	2,039 GB/s	3,350 GB/s	3,900 GB/s
NVLink带宽	600 GB/s	600 GB/s	900 GB/s	900 GB/s
功耗	300W	400W	700W	700W
互联形态	PCIe Gen4	NVLink全互联	NVLink4全互联	NVLink+PCIe混合

从工程角度看，选型决策应遵循以下优先级：

显存容量决定模型规模上限：80GB显存可容纳约70B参数的FP16模型（含激活和梯度开销），94GB NVL版本则更适合超大Batch或长序列训练。
显存带宽决定数据搬运效率：H100的3.35TB/s带宽比A100提升约64%，在Transformer类模型中收益显著。
NVLink拓扑决定多卡扩展性：SXM形态支持全互联，8卡间通信无瓶颈；PCIe形态则受限于PCIe Switch带宽。
功耗密度决定机房改造范围：H100的700W功耗需要液冷或高风量风冷，普通风冷机柜单柜功率上限通常只有15-20kW。

选型建议：如果预算有限且以微调、推理为主，A100 80GB PCIe是性价比之选；如果目标是训练千亿级大模型，H100 SXM5是当前最优解；若需在单机内实现高密度训练，优先选择SXM形态而非PCIe形态。

4.2 CPU、内存与存储的配套选型

GPU只是算力引擎，CPU负责数据预处理、调度和通信，内存决定数据驻留能力，存储决定数据读取速度。四者必须匹配，否则GPU会因等待数据而空转。

4.2.1 CPU选型

CPU的核心职责是数据管线：加载数据、做预处理、发起通信、控制训练循环。选型要点如下：

核心数：每张GPU建议配置8-16个物理核心，8卡服务器建议使用AMD EPYC 9004系列（96核）或Intel Xeon Platinum 8480+（56核）。
PCIe通道数：8张GPU需要至少128条PCIe Gen5通道，CPU必须支持足够的PCIe Root Complex。
内存通道：每通道1个DIMM，8通道DDR5可提供约400GB/s带宽，满足数据搬运需求。
网卡集成：优先选择支持PCIe Gen5 x16的CPU，避免网卡带宽受限。

4.2.2 内存选型

内存容量建议按GPU显存总量的1:1到1:2配置。例如8卡H100（80GB×8=640GB显存），主机内存建议配置1TB-1.5TB DDR5 ECC内存。内存带宽比容量更重要，因为数据加载和分布式通信都需要高带宽。

# 典型8卡H100服务器内存配置示例
内存类型: DDR5-4800 ECC RDIMM
容量: 1TB（16×64GB）
通道数: 8通道（每通道2条DIMM）
带宽: 约400GB/s

4.2.3 存储选型

存储分为本地盘和共享存储两层。本地盘用于临时数据和checkpoint暂存，共享存储用于数据集和模型仓库。

存储层级	推荐方案	容量建议	带宽要求
本地NVMe	2×3.84TB NVMe SSD（RAID1）	3.84TB	≥7GB/s读
共享存储	Lustre或GPFS并行文件系统	≥100TB	≥20GB/s聚合带宽
冷数据	对象存储（MinIO/Ceph）	按需	不敏感

常见误区：不要用单块SATA SSD作为共享存储。训练过程中，数据加载线程会持续读取，单盘IOPS不足会导致GPU利用率下降30%以上。共享存储必须使用并行文件系统，且网络要支持RDMA（RoCE或InfiniBand）。

4.3 网络设备选型：从万兆到InfiniBand

网络是AI集群的“神经系统”。分布式训练中，梯度同步和参数更新的通信量巨大。网络选型取决于集群规模和训练模式。

4.3.1 网络分层架构

典型AI集群网络分为三层：

计算网络：GPU间通信，使用RoCEv2或InfiniBand，带宽≥200Gbps/端口。
存储网络：计算节点访问共享存储，使用RoCEv2或TCP，带宽≥100Gbps。
管理网络：IPMI、SSH、监控，使用1Gbps/10Gbps以太网即可。

4.3.2 交换机选型对比

类型	代表型号	端口速率	适用场景
InfiniBand	NVIDIA Quantum-2 QM9700	400Gbps NDR	大规模训练（≥64卡）
RoCEv2	Mellanox SN4600C	200Gbps	中小规模（8-32卡）
以太网	华为CE8850	100Gbps	推理集群或混合负载

  选型决策树：
  单机8卡训练：使用NVLink内部互联，外部网络仅需100Gbps RoCEv2。
多机32-64卡：必须使用200Gbps RoCEv2或InfiniBand，且交换机需支持ECMP和PFC。
超过64卡：建议直接上InfiniBand NDR 400G，避免后期网络升级成本。

4.4 案例：8卡H100训练服务器的完整选型清单

以一个典型的大模型训练节点为例，给出完整选型清单。该节点用于训练70B参数模型，采用数据并行+张量并行混合策略。

【8卡H100训练节点配置单】
GPU: 8× NVIDIA H100 SXM5 80GB
CPU: 2× AMD EPYC 9654 (96核/颗)
内存: 1.5TB DDR5-4800 ECC (24×64GB)
本地存储: 2× 3.84TB NVMe SSD (RAID1)
网卡: 8× ConnectX-7 400Gbps InfiniBand
交换机: 1× NVIDIA QM9700 (36端口NDR)
电源: 4× 3000W 钛金电源 (2+2冗余)
散热: 液冷板+CDU (支持700W GPU)

该配置的关键设计决策如下：

CPU选96核：8卡训练时，每卡需要约12个CPU核心做数据加载和通信，96核留有余量。
内存1.5TB：满足640GB显存的数据驻留需求，同时为数据预取提供缓冲。
8张400G网卡：每张GPU对应一张网卡，避免多卡共享网卡导致通信瓶颈。
液冷方案：8×700W GPU总功耗5600W，加上CPU和内存，单机功耗约8kW，风冷无法有效散热。

4.5 误区与复盘：选型中的常见陷阱

误区一：只看GPU算力，忽略显存带宽。

某些型号FP16算力高，但显存带宽低，实际训练吞吐反而下降。例如A100 40GB版比80GB版带宽低，长序列训练时性能差距可达20%。

误区二：网络带宽“够用就行”。

8卡单机训练时，NVLink已解决卡间通信；但多机训练时，网络带宽直接决定扩展效率。若使用100Gbps以太网做64卡训练，通信占比可能超过40%，GPU利用率不足60%。

误区三：存储只考虑容量，不考虑IOPS。

训练数据通常是小文件（几MB到几十MB），需要高IOPS而非高吞吐。使用机械硬盘或低端SSD会导致数据加载成为瓶颈。建议使用NVMe SSD，并配置预取缓存。

误区四：忽略功耗和散热约束。

H100的700W功耗意味着单机柜只能放4-6台服务器（按30kW/柜计算）。若机房未预留液冷能力，强行风冷会导致GPU降频，性能损失可达15%。

4.6 选型验证方法

选型完成后，建议在采购前进行小规模验证，用真实负载测试硬件是否满足需求。验证步骤如下：

单卡基准测试：运行ResNet-50或GPT-2训练脚本，记录吞吐量和GPU利用率。
多卡扩展性测试：从1卡扩展到8卡，计算加速比。理想情况下8卡加速比应≥7.2。
网络压力测试：使用NCCL AllReduce测试，检查多机通信带宽是否达到理论值的80%以上。
长时间稳定性测试：连续运行72小时，监控GPU温度、功耗、网络丢包率。

# NCCL带宽测试命令示例
# 在每台计算节点上执行
nccl-tests/build/all_reduce_perf -b 128M -e 8G -f 2 -g 8

# 预期结果（8卡H100 + 400G IB）
# 128M: 约 350 GB/s
# 8G:   约 380 GB/s

硬件选型是AI集群建设中最关键的一步，它决定了后续所有软件调优的上限。GPU型号、CPU核心数、内存容量、存储层级和网络拓扑必须作为一个整体来设计，任何一环的短板都会成为整个集群的性能瓶颈。建议在选型阶段就引入真实训练负载进行验证，而不是仅依赖厂商提供的理论峰值数据。只有经过实测验证的配置，才能支撑起稳定高效的AI算力集群。