3、GPU服务器选型：主流GPU服务器型号（DGX、HGX、定制化）、CPU与GPU配比、PCIe拓扑与带宽、散热与功耗设计
好，咱们进入第三章。这一章聊的是真金白银——选型。
说实话，我见过太多团队在GPU服务器选型上栽跟头。有的买了顶配DGX，结果业务跑不满，资源闲置。有的图便宜上了定制化方案，结果PCIe拓扑没搞明白，通信带宽成了瓶颈。嗯，选型这事儿，说白了就是平衡的艺术。
3.1 主流GPU服务器型号：DGX、HGX、定制化
目前市面上主流的GPU服务器，基本就三大流派：NVIDIA的亲儿子DGX系列、OEM厂商的HGX方案、以及各种定制化服务器。我一个个说。
3.1.1 DGX系列：开箱即用，但贵
DGX是NVIDIA官方出品的整机。你买回来插上电，装好驱动，就能跑。我记得第一次接触DGX-1时，被它的做工惊到了——全水冷，8张V100互联，NVLink带宽900GB/s。当时我就想，这玩意儿除了贵，没毛病。
DGX系列的特点：
- 集成度高：CPU、GPU、内存、网络全部预装调优
- 软件栈完整：NVIDIA Base Command、DGX OS都给你配好
- 售后省心：一个电话，NVIDIA工程师上门
- 价格感人：一台DGX A100大概20-30万美金
适合谁？预算充足的大厂、研究机构。说白了就是「花钱买时间」。
3.1.2 HGX方案：灵活定制，性价比之选
HGX是NVIDIA提供给服务器厂商的参考设计。戴尔、惠普、浪潮、超微这些OEM厂商，基于HGX底板做自己的服务器。
我个人习惯用HGX方案。为什么？因为灵活。你可以选不同的CPU（AMD EPYC或Intel Xeon）、不同的内存容量、不同的网卡配置。我在项目中遇到过一家自动驾驶公司，他们需要大量CPU做数据预处理，HGX方案就能自由调整CPU与GPU的配比。
HGX的典型配置：
| 型号 | GPU数量 | 互联方式 | 典型OEM |
|---|---|---|---|
| HGX A100 8-GPU | 8张A100 | NVLink 3.0 + NVSwitch | 浪潮NF5488A5、戴尔R750xa |
| HGX H100 8-GPU | 8张H100 | NVLink 4.0 + NVSwitch | 超微SYS-421GU、惠普DL380a |
3.1.3 定制化方案：自己动手，丰衣足食
定制化，说白了就是自己攒机器。买GPU、买主板、买机箱、买电源，自己组装。我早期做GPU集群时，就是这么干的。
定制化的优势：
- 成本可控：比DGX便宜30%-50%
- 配置自由：想插几张卡就插几张
- 维修方便：坏了哪块换哪块
但坑也多。我曾经帮一个客户调试定制化服务器，发现PCIe链路不稳定，查了三天才发现是主板PCIe插槽间距太近，散热不好导致信号衰减。嗯，定制化需要你有硬件功底。
3.2 CPU与GPU配比：别让CPU拖后腿
CPU与GPU的配比，很多人不重视。你想想看，GPU算得飞快，CPU却慢吞吞地喂数据，那GPU不就在空转吗？
我一般按这个原则配：
- 训练场景：1张GPU配2-4个CPU核心。比如8卡A100服务器，配16-32核的CPU就够了
- 推理场景：1张GPU配4-8个CPU核心。因为推理时CPU要做预处理和后处理
- 数据密集型：比如视频处理、科学计算，CPU核心要更多，1:8甚至1:16
避坑指南：我曾经遇到一个项目，客户买了8张H100，却只配了8核的CPU。结果数据加载成了瓶颈，GPU利用率不到30%。后来换了64核的EPYC，利用率直接飙到85%。
3.3 PCIe拓扑与带宽：通信是命脉
GPU之间的通信带宽，直接决定了分布式训练的效率。PCIe拓扑搞不好，你买再贵的GPU也白搭。
先看一张图，这是我画的典型8卡GPU服务器的PCIe拓扑：
这张图展示的是典型的双路CPU + 8卡GPU拓扑。注意看，GPU 0-3挂在CPU1下，GPU 4-7挂在CPU2下。如果GPU 0要和GPU 4通信，数据得先走PCIe到CPU1，再通过UPI到CPU2，再到GPU4。这中间就有延迟。
所以，我建议：
- 同CPU下的GPU优先通信：训练时尽量让同一CPU下的GPU组队
- NVLink比PCIe快得多：H100的NVLink 4.0带宽是900GB/s，而PCIe 5.0 x16只有64GB/s
- 检查你的拓扑：用
nvidia-smi topo -m命令查看实际拓扑
关键带宽数据：
- PCIe 4.0 x16：单向 32GB/s，双向 64GB/s
- PCIe 5.0 x16：单向 64GB/s，双向 128GB/s
- NVLink 3.0 (A100)：600GB/s
- NVLink 4.0 (H100)：900GB/s
3.4 散热与功耗设计：别让服务器烧了
散热这事儿，我吃过亏。有一次机房空调故障，GPU温度飙到95度，直接降频，训练速度慢了40%。
GPU的功耗有多大？一张H100的TDP是700W。8张就是5600W，加上CPU、内存、网卡，一台服务器轻松上6000W。你想想看，这相当于同时开60个电热水壶。
散热方案主要有三种：
| 散热方式 | 典型功耗范围 | 优点 | 缺点 |
|---|---|---|---|
| 风冷 | 单机柜 < 20kW | 成本低、维护简单 | 噪音大、散热效率低 |
| 液冷（冷板式） | 单机柜 20-60kW | 散热好、噪音小 | 成本高、有漏液风险 |
| 液冷（浸没式） | 单机柜 > 60kW | 散热极佳、密度高 | 维护复杂、成本极高 |
我个人建议：
- 小规模集群（< 10台）：风冷就够了，注意机房空调要跟上
- 中等规模（10-50台）：考虑冷板式液冷，能效比高
- 大规模（> 50台）：浸没式液冷，虽然贵但长期省电费
我的经验：选型时别只看GPU，电源和散热才是隐藏成本。一台8卡H100服务器，需要2个3000W的电源模块，机柜供电要单独拉线。我曾经帮客户算过，三年电费差不多等于服务器本身的价格。
警告：千万别在普通机房部署高密度GPU服务器。普通机柜一般支持5-8kW，而一台8卡H100服务器就要6kW以上。强行部署会导致过热宕机。
好了，这一章就聊到这儿。选型没有标准答案，关键看你的业务场景、预算和运维能力。下一章我们聊聊网络，那可是集群的血管。