硬件选型与部署：GPU服务器选型、NVLink/NVSwitch拓扑与液冷散热
这一章，我们来聊聊AI基础设施最烧钱、也最核心的部分——GPU服务器怎么选、怎么连、怎么散热。我这些年经手过好几个千卡集群的部署，踩过的坑不少，今天把这些经验掰开揉碎了讲给你。
GPU服务器选型：A100 vs H100，到底差在哪？
先说说选型。很多人一上来就问“A100和H100哪个好？”——这问题其实没问到点子上。你得先搞清楚自己的业务场景。
| 维度 | NVIDIA A100 (80GB) | NVIDIA H100 (80GB) |
|---|---|---|
| 架构 | Ampere | Hopper |
| FP32 TFLOPS | 19.5 | 60 |
| Transformer Engine | 不支持 | 支持（FP8） |
| HBM带宽 | 2 TB/s | 3.35 TB/s |
| NVLink带宽 | 600 GB/s | 900 GB/s |
| 典型功耗 | 400W | 700W |
| 适用场景 | 推理、中小规模训练 | 大规模预训练、MoE模型 |
你看，H100的FP32算力是A100的三倍多，但功耗也高了近一倍。我个人习惯是这么判断的：如果你的模型参数量在百亿以下，A100完全够用；一旦上了千亿参数，尤其是用了MoE架构，H100的Transformer Engine和FP8支持能省下不少训练时间。
一个小技巧：H100的FP8精度在训练大模型时，效果几乎不输FP16。我在一个175B参数模型上做过对比，训练速度提升了2.3倍，收敛曲线几乎重合。但注意——如果你的模型对精度极其敏感（比如金融风控），还是老老实实用FP32或BF16。
NVLink与NVSwitch：别让通信成为瓶颈
GPU选好了，接下来就是怎么连。很多人只盯着算力，忽略了互联带宽。我见过一个集群，A100配了PCIe Gen4，结果多卡训练时通信开销占了40%以上——说白了，算力再强也被通信拖死了。
NVLink vs PCIe：差距有多大？
- PCIe Gen4 x16：单向带宽约32 GB/s，双向64 GB/s
- NVLink 3.0 (A100)：单链路50 GB/s，每GPU 12条链路，共600 GB/s
- NVLink 4.0 (H100)：单链路100 GB/s，每GPU 18条链路，共900 GB/s
差距接近10倍。你想想看，训练一个千亿参数模型，每步迭代都要同步梯度。如果通信带宽不够，GPU大部分时间都在等数据——这就是典型的“算力等待型”瓶颈。
NVSwitch拓扑：全互联 vs 分层互联
NVSwitch说白了就是一个高速交换机，让所有GPU都能两两直连。我参与过一个256卡H100集群的部署，用的是NVSwitch全互联拓扑。每个NVSwitch有64个端口，支持8个GPU全互联。
核心原则：训练任务中，GPU之间的通信模式是“AllReduce”。全互联拓扑下，通信延迟最低；如果用了分层互联（比如8卡一组，组间走IB），通信效率会下降15%-20%。
嗯，这里要注意——NVSwitch虽然好，但成本也高。如果你的训练任务对通信不敏感（比如推理或小模型），用PCIe+IB也能凑合。但做大模型训练，我建议一步到位上NVSwitch。
液冷散热方案：从风冷到液冷的必然选择
H100单卡700W，8卡就是5.6kW。一个机柜塞4台8卡服务器，功耗轻松超过20kW。风冷？根本压不住。我见过一个客户，风冷机柜里H100跑满负载，半小时后温度飙到95°C，直接降频——算力损失了30%。
液冷方案对比
| 方案类型 | 散热能力 | 改造成本 | 维护复杂度 | 适用场景 |
|---|---|---|---|---|
| 风冷 | ~15kW/机柜 | 低 | 低 | 小规模、低功耗 |
| 冷板式液冷 | ~40kW/机柜 | 中 | 中 | 中大规模集群 |
| 浸没式液冷 | ~100kW/机柜 | 高 | 高 | 超大规模、高密度 |
我个人更推荐冷板式液冷。为什么？因为改造成本可控，而且兼容现有服务器架构。我曾经帮一个客户把风冷机房改造成冷板式液冷，只换了机柜和管路，服务器本身不用动——GPU直接通过冷板接触散热，温度从85°C降到了55°C，性能释放完全不打折。
避坑指南：我曾经遇到过液冷管路接口密封不严，导致冷却液渗漏。虽然用了非导电冷却液，但清理起来非常麻烦。建议在部署前做48小时加压测试，确保每个接口的密封性。另外，液冷系统的维护周期比风冷短，每半年要检查一次冷却液浓度和管路老化情况。
一张图看懂本章核心逻辑
下面这张图总结了GPU服务器选型、互联拓扑和散热方案的决策流程。你可以把它当作一个快速参考。
部署实战：一个8卡H100节点的配置示例
最后，给你一个实际部署的配置参考。这是我最近一个项目的真实配置，跑了半年，非常稳定。
# 硬件配置清单
GPU: 8x NVIDIA H100 80GB SXM
CPU: 2x AMD EPYC 9654 (96核/颗)
内存: 1TB DDR5 4800MHz
互联: 4x NVSwitch (全互联拓扑)
网络: 8x ConnectX-7 400Gb/s InfiniBand
存储: 本地 4x 7.68TB NVMe SSD + 分布式存储
散热: 冷板式液冷 (CDU 60kW)
电源: 4x 3000W PSU (2+2冗余)
部署小贴士：H100 SXM版本必须搭配液冷使用，风冷版本（PCIe）才支持风冷。选型时别搞混了。另外，NVSwitch需要独立的供电和散热，别把它塞到GPU机柜里——我见过有人这么干，结果NVSwitch过热导致整个集群通信中断。