数据中心基础设施：供电、制冷、机架、网络拓扑与冗余设计
GPU 算力集群与传统 CPU 机房的本质差异，在于功率密度与故障传导速度。一颗 H100 SXM 模组峰值功耗可达 700W，一台 8 卡 DGX 服务器满载接近 14kW，而标准 42U 机柜若部署 4 台此类服务器，单柜功率将突破 50kW。传统数据中心每机柜 5-10kW 的供电与制冷设计在此场景下会直接失效。本章聚焦供电架构、制冷方案、机架布局与网络拓扑四个维度，并重点讨论冗余设计如何决定集群的可用性边界。
4.1 供电架构：从市电到 GPU 的每一级转换
GPU 集群的供电链路可拆解为：市电引入 → 中压配电 → 变压器 → 低压配电 → UPS → 列头柜 → 机柜 PDU → 服务器电源。每一级都存在容量上限与故障概率，冗余设计的目标是消除单点故障（SPOF），同时控制成本。
核心原理是 2N 与 N+1 冗余的取舍。2N 意味着每套供电设备都有完全独立的备份，例如两路市电、两套 UPS、双路 PDU 分别接入服务器双电源模块；N+1 则是在满足负载需求的基础上多配置一台备用设备（如 5 台 UPS 带 4 台负载）。GPU 集群建议至少采用 2N 供电架构，因为单台 GPU 服务器功耗高，一旦供电中断，重启训练任务的代价远超硬件成本。
实际部署中需关注两个易被忽视的指标：
- 功率因数（PF）与谐波：GPU 电源采用主动 PFC，但大量开关电源会产生高次谐波，需配置有源滤波器（APF），否则中性线过载可能引发火灾。
- UPS 电池备电时间：GPU 集群满载时电流极大，铅酸电池组通常仅支撑 5-15 分钟，需与柴油发电机启动时间（通常 10-30 秒）匹配。若发电机未通过带载测试，备电形同虚设。
4.2 制冷方案：风冷极限与液冷必然性
传统机房风冷（CRAC 精密空调）的散热能力上限约为每机柜 15-20kW。当单柜功率超过 30kW 时，风冷需要极高的送风风速，导致风机能耗剧增且 GPU 进风温度不均。当前主流方案分为三类：
| 方案 | 适用功率密度 | PUE 范围 | 关键限制 |
|---|---|---|---|
| 传统风冷（地板下送风） | ≤15kW/柜 | 1.4 - 1.6 | 需高架地板，冷热通道隔离 |
| 风冷 + 背板换热器 | 15 - 30kW/柜 | 1.2 - 1.4 | 需改造机柜深度，水冷背板 |
| 直接液冷（冷板式） | 50 - 100kW/柜 | 1.05 - 1.15 | 需 CDU（冷量分配单元），管路复杂 |
对于 8 卡 GPU 服务器，冷板式液冷已成为 30kW 以上机柜的必然选择。其原理是：通过 CDU 将一次侧冷冻水（12-18°C）与二次侧去离子水（30-40°C）隔离，二次侧冷却液直接流经 GPU 冷板，带走 70%-80% 的热量，剩余热量由风冷辅助排出。液冷不仅降低 PUE，还允许 GPU 维持更高频率运行——风冷环境下 GPU 因温度墙降频的损失可达 5%-10%。
4.3 机架布局与网络拓扑的协同设计
机架布局直接影响网络布线长度与散热效率。GPU 集群通常采用 Spine-Leaf（脊-叶） 拓扑，而非传统三层树形架构。原因在于 GPU 分布式训练（如 NCCL 通信）需要高带宽、低延迟的任意节点间通信，Spine-Leaf 提供无阻塞转发能力。
典型拓扑参数（以 256 节点为例）：
Spine 层：8 台 128×400Gbps 交换机（4 台一组，互为冗余）
Leaf 层：16 台 64×400Gbps 交换机（每台连接 16 个 GPU 节点）
链路：Leaf 上行 32×400G 至 Spine，下行 16×400G 至服务器
收敛比：1:1（无收敛），确保 NCCL AllReduce 带宽机架布局应遵循 “热区就近” 原则：将同一训练任务（同一租户）的 GPU 节点尽量部署在同一 Leaf 交换机下，减少跨 Spine 流量。同时，液冷机柜的管路走向需与网络布线分离——建议强电走顶部桥架，弱电走底部，液冷管路沿机柜侧面独立敷设，避免维护时互相干扰。
对于超大规模集群（超过 1000 节点），需引入 Dragonfly+ 或 3D-Torus 拓扑，但此类方案对路由算法要求极高，一般仅用于国家级超算中心。商用 GPU 云通常采用多 Pod 的 Spine-Leaf 扩展，每个 Pod 约 256-512 节点，Pod 间通过核心交换机互联。
4.4 冗余设计：从设备级到系统级
冗余设计不能只停留在“双电源、双 UPS”层面，需按故障域逐层分析：
- 设备级：服务器双电源（分别接入不同 PDU）、GPU 板载 ECC 内存、NVLink 链路冗余。
- 机柜级：双路 PDU（A/B 路）、液冷 CDU 双泵、机柜级温感联动。
- 系统级：Spine 交换机 N+1 冗余、Leaf 交换机堆叠或 MLAG、存储网络独立于计算网络。
- 容灾级：跨数据中心训练任务断点续训，依赖检查点定期保存至分布式存储。
一个常被忽略的冗余点是 管理网络。GPU 集群的带外管理（BMC/IPMI）若与计算网络共用交换机，一旦广播风暴或 ACL 误配置，将导致所有节点失去远程管理能力。建议独立部署 1Gbps 管理网络，并配置独立防火墙策略。
4.5 案例复盘：某智算中心 1000 卡集群的供电故障
某数据中心部署 128 台 8 卡 GPU 服务器，采用 2N UPS 架构。某日市电 A 路闪断，UPS 正常切换至电池，但 10 秒后柴油发电机启动时，因发电机容量仅按 IT 负载的 80% 配置，未计入制冷系统（液冷 CDU 泵与精密空调），导致发电机过载跳闸。电池在 8 分钟内耗尽，全集群宕机。
根因分析：
- 发电机容量未包含“制冷 + 供配电损耗”的联合负载，实际总负载为 IT 的 1.35 倍。
- UPS 电池备电时间设计为 15 分钟，但未考虑电池老化后容量衰减（实际仅剩 60%）。
- 液冷 CDU 泵未接入 UPS 输出，而是直接接市电，市电闪断时泵停转，冷却液循环中断。
改进措施：将 CDU 泵与精密空调风机接入 UPS 输出；发电机容量按“IT + 制冷 + 辅助”总负载的 1.2 倍重新选型；每季度执行一次满负荷带载测试，并检测电池内阻。
4.6 测试验证与验收清单
基础设施验收不能仅检查设备是否安装到位，必须进行主动故障注入测试：
1. 单路市电断电测试：验证 UPS 切换时间（≤10ms），记录 GPU 任务是否中断
2. 发电机带载测试：加载至 100% 额定容量，持续运行 30 分钟，检查电压/频率波动
3. 液冷管路压降测试：关闭一台 CDU 泵，确认备用泵自动接管且 GPU 温度波动 ≤5°C
4. 网络冗余测试：拔掉一台 Spine 交换机上行链路，验证 NCCL 通信是否重路由（丢包率 ≤0.01%）
5. 温度场测试：满载运行 24 小时，红外热像仪扫描机柜进/出风温度，热点温差 ≤3°C上述测试应形成书面报告，作为集群上线的前置条件。GPU 集群的可用性目标通常为 99.99%（年停机 ≤53 分钟），而基础设施故障是最大威胁——供电与制冷占数据中心宕机原因的 70% 以上。只有通过系统化的冗余设计与严苛测试，才能支撑 AI 训练任务的长周期稳定运行。