数据中心基础设施：供电、散热、机房布局、网络布线

GPU 算力集群与传统 CPU 机房的本质差异，在于功率密度与散热形态的彻底改变。一台 8 卡 A100 服务器满载功耗可达 6.5kW，而同等体积的 2U 通用服务器通常只有 1kW 左右。这意味着，当你在机柜中部署 8 台 GPU 服务器时，单柜功率会从 8kW 跃升至 50kW 以上。若基础设施按传统思路设计，供电会跳闸、散热会失效、布线会混乱，最终导致集群无法稳定运行。本章围绕这四个维度，梳理 GPU 数据中心建设中的关键工程决策。

4.1 供电架构：从市电到 GPU 的每一级冗余

供电设计的核心指标是可用性与功率密度。GPU 集群通常按 Tier III 或 Tier IV 标准设计，但更关键的是理解电流路径上的每一级设备。

典型供电链路如下：

市电（10kV/20kV） → 变压器 → 低压配电柜（400V/480V） → UPS → 列头柜（PDU） → 机柜内 PDU → 服务器电源（PSU）

在 GPU 场景中，需要特别关注三个参数：

单机柜功率预留：建议按 30-40kW 设计，而非传统 8-10kW。这决定了列头柜的断路器规格和线缆截面积。
UPS 容量与电池时间：GPU 任务中断恢复成本极高，建议 UPS 满载后备时间不低于 15 分钟，用于连接柴油发电机并完成负载切换。
功率因数与谐波：GPU 服务器电源多采用主动 PFC，但大量开关电源同时工作会产生谐波电流，需配置有源滤波器（APF）或无源滤波装置。

工程建议：在规划供电时，不要只看服务器铭牌功率。GPU 在运行 AI 训练任务时，功耗波动可达 30%-50%（例如 A100 从空闲 200W 到满载 400W）。建议按“峰值功耗 × 1.2 安全系数”计算单柜总功率，并确保列头柜断路器具备热磁脱扣功能，避免瞬时浪涌导致误跳闸。

4.2 散热方案：风冷与液冷的工程分界

散热决定了 GPU 能否持续运行在额定频率。当 GPU 温度超过 85°C 时，NVLink 和 PCIe 链路会自动降速，训练吞吐量可下降 20%-40%。因此，散热设计不是“够用就行”，而是“保证全负载下的热稳态”。

当前主流方案分为两类：

方案	单柜散热能力	适用场景	PUE 参考
风冷（冷热通道封闭）	15-25kW	单柜 ≤20kW，中小规模集群	1.3-1.5
风冷 + 背板换热	25-35kW	单柜 20-35kW，中大规模	1.2-1.3
冷板式液冷	40-100kW+	单柜 >35kW，HPC/AI 训练集群	1.05-1.15

冷板式液冷并非“把服务器泡在水里”，而是通过水冷板直接贴合 GPU 和 CPU 的散热顶盖，冷却液在封闭管路中循环带走热量。其工程要点包括：

CDU（冷量分配单元）：负责一次侧（冷冻水）与二次侧（服务器内冷却液）的热交换，并维持二次侧压力稳定。
漏液检测：在每个快接头下方部署漏液传感线，一旦检测到电导率变化立即关闭对应支路电磁阀。
水质管理：二次侧建议使用去离子水或丙二醇溶液，电导率控制在 0.5-2.0 µS/cm，防止电化学腐蚀。

常见误区：不要认为液冷就是“绝对安全”。如果 CDU 的二次侧压力超过 3 bar，快接头可能脱落；如果冷却液温度低于露点，服务器内部会凝露。必须配置压力传感器和露点传感器，并在控制逻辑中设置联锁保护。

4.3 机房布局：热通道封闭与 GPU 区域隔离

机房布局的核心目标是缩短气流路径和隔离故障域。对于 GPU 集群，推荐采用“热通道封闭 + 冷通道开放”的布局，并遵循以下原则：

机柜面对面排列：冷通道宽度建议 1.2-1.5 米，热通道宽度 0.9-1.2 米。冷通道顶部必须封闭，防止冷气短路。
GPU 机柜独立成区：不要将 GPU 服务器与存储/网络设备混布在同一排。GPU 区域单独设置空调回风口，避免热空气影响交换机等对温度敏感的设备。
预留维护空间：液冷机柜后方需预留 1 米以上操作空间，用于快接头插拔和管路检修。风冷机柜后方至少 0.8 米。

一个典型的 GPU 机房分区示意如下：

注意，网络/存储列应布置在热通道末端或独立区域，避免与 GPU 抢冷量。如果条件允许，建议将 GPU 区域与网络区域用防火隔墙分开，既满足消防分区要求，也便于故障隔离。

4.4 网络布线：高速互联的物理层约束

GPU 集群的网络布线远比传统数据中心严苛，因为 400G/800G 光模块对信号完整性极其敏感。布线设计需遵循以下原则：

短链路优先：GPU 到 Leaf 交换机的链路尽量控制在 30 米以内，使用 OM4/OM5 多模光纤或 DAC 铜缆。超过 30 米需考虑单模光纤和 400G-DR4 光模块。
分区走线：光纤槽道与强电电缆槽道分离，间距不小于 300mm，避免电磁干扰。光纤弯曲半径不小于 30mm（光缆外径的 10 倍）。
预端接方案：推荐使用 MPO-16 或 MPO-32 预端接主干光缆，减少现场熔接。每根主干光缆预留 10%-20% 冗余芯数，便于未来扩容。

一个典型的 GPU 集群布线拓扑（Spine-Leaf 架构）如下：

Spine 层（4 台 400G 交换机）
   │
   ├── Leaf 1（GPU 机柜 A1-A4）
   ├── Leaf 2（GPU 机柜 B1-B4）
   ├── Leaf 3（存储/管理）
   └── Leaf 4（外部互联/边界）

GPU 服务器 → Leaf 交换机：400G（2×200G 或 1×400G）
Leaf → Spine：4×400G（全 mesh）

在布线实施时，建议为每根光纤和铜缆粘贴双向标签（A 端和 B 端），并在电子表格中记录链路两端设备、端口、光衰值。对于 400G 链路，光模块的接收光功率应保持在 -6 dBm 至 +2 dBm 之间，低于 -8 dBm 时需检查连接器端面是否污染。

  案例复盘：某互联网公司部署 128 台 A100 服务器，初期使用 40G 有源光缆（AOC）连接 Leaf 交换机。运行两周后，出现间歇性丢包，排查发现部分 AOC 线缆长度超过 15 米，信号衰减导致 FEC（前向纠错）无法完全纠正。更换为 400G 多模光纤 + 光模块后，丢包率从 0.01% 降至 0.0001%。教训是：不要为了节省成本在 GPU 网络中使用低规格线缆，物理层的不稳定会被 AI 训练框架放大为任务中断。

4.5 基础设施验证与常见误区

基础设施施工完成后，必须进行带载验证，而不是仅仅做空载测试。建议按以下流程执行：

供电验证：使用假负载或真实服务器，将单柜功率逐步加载到设计值的 80%、100%、110%，持续 30 分钟，检查断路器温度、UPS 输出频率和电压波动。
散热验证：运行 GPU 压力测试（如 FurMark 或 CUDA 样例中的 deviceQuery 循环），记录 GPU 入口温度、出口温度和风扇转速。确认冷通道温度不高于 27°C，热通道不高于 40°C。
布线验证：使用光功率计逐条测试所有光纤链路，记录插损值。对于 400G 链路，使用交换机自带的诊断工具（如 show interface transceiver）检查光模块温度、电压和 RX 功率。

以下是三个最常见的工程误区：

误区一：只按平均功耗设计供电。GPU 训练任务存在“功耗尖峰”，例如梯度同步时所有 GPU 同时全速运行。若按平均功耗设计，变压器和 UPS 会过载。
误区二：忽视空调的显热比。GPU 机房发热量大且显热比高（0.95 以上），需要选择显热比高的精密空调，否则除湿过程会浪费大量冷量。
误区三：光纤槽道与强电共用桥架。即使间隔 200mm，大功率电缆的电磁场仍可能干扰 400G 光模块的信号完整性，导致误码率升高。

基础设施是 GPU 集群的“地基”。供电不稳会导致训练任务中断，散热不足会降低 GPU 寿命和性能，布线不当会引入难以排查的链路错误。在规划阶段，建议将基础设施成本控制在总预算的 25%-35%，并预留 20% 的功率和制冷余量，以应对未来 GPU 型号升级带来的功耗增长。