数据中心基础设施：机房布局、供电系统、冷却系统与网络架构

核心原理：AI算力集群对基础设施的“极限施压”

通用CPU数据中心的功率密度通常在每机柜3～8kW，而一台配置8块GPU的AI训练服务器（如NVIDIA DGX H100/H200）满载功耗即可达到10～14kW，若采用液冷高密度部署，单机柜功率可飙升至40～100kW以上。这种数量级的跃迁，使得传统“先建机房、再装机柜”的思路彻底失效。AI算力集群的基础设施设计必须围绕三个核心矛盾展开：功率密度与散热能力、供电容量与冗余架构、东西向流量与网络拓扑。任何一环成为瓶颈，GPU集群的线性扩展能力（Scale-out）都会大打折扣，甚至因过热降频或供电波动导致训练任务中断。

机房布局：从“通用托管”到“高密度分区”

现代AI数据中心的机房布局不再采用均匀分布的IT机柜，而是采用分区隔离与热通道/冷通道精细化策略。布局的核心逻辑是：将高功率密度的GPU机柜集中部署在靠近空调末端和电力列头柜的区域，以缩短送风距离和供电电缆长度，降低线路损耗。

• 冷通道封闭（Cold Aisle Containment, CAC）：将冷风送入封闭的冷通道，防止冷热气流混合，提高送回风温度，从而延长自然冷却时长。
• 热通道封闭（Hot Aisle Containment, HAC）：更适用于超高密度场景，将GPU排出的热风直接引导至空调回风口，避免热空气在机房内弥漫。
• 行级/列间空调（InRow Cooling）：紧贴机柜排列，缩短气流路径，解决局部热点问题，尤其适合单机柜功率超过15kW的场景。
• 电力与网络廊道分离：强电桥架与光纤槽道分居机柜顶部两侧，避免电磁干扰并便于独立维护。

一个典型的AI训练机房模块（以100个GPU机柜为例）通常划分为：GPU算力区（高密度，液冷或精密风冷）、CPU存储区（中低密度，风冷）、网络核心区（低密度但光纤密集）以及动力间（变压器、UPS、配电柜）。

供电系统：从10kV到GPU核心的“全链路冗余”

AI集群的供电系统通常采用2N或DR（Distribution Redundant）冗余架构，确保任何一路市电中断或UPS故障都不会导致GPU掉电。典型链路为：10kV市电 → 变压器 → 低压配电柜 → UPS（不间断电源）→ 列头柜 → 机柜内PDU（电源分配单元）→ 服务器电源。

对于GPU服务器，其内部通常配置4个或6个3000W级别的CRPS（Common Redundant Power Supply）电源模块，采用2+2或3+3冗余模式。在规划时需注意：

• 功率因数与谐波：GPU电源采用主动式PFC，但大量开关电源会产生高次谐波，需配置有源滤波器（APF）或采用12脉冲整流变压器。
• UPS效率与ECO模式：推荐采用模块化UPS，在负载率超过40%时效率可达96%以上。部分数据中心允许在电网质量稳定时开启ECO（经济）模式，但需权衡切换时间（通常小于10ms）。
• 电池备电时间：对于训练任务，通常要求UPS满载备电15分钟以上，以支撑柴油发电机启动并完成GPU检查点（Checkpoint）保存。

冷却系统：风冷与液冷的“分水岭”

当单机柜功率密度低于15kW时，传统风冷（精密空调+架空地板）仍具成本优势。但当GPU机柜功率超过20kW，风冷的风量需求将导致机房内风速过高、风机能耗剧增，此时必须引入液冷。液冷分为冷板式液冷（主流）与浸没式液冷（高密度极限）。

对比维度	传统风冷（CRAC）	冷板式液冷	浸没式液冷
单机柜散热能力	8～15kW	30～80kW	100kW+
PUE（年均）	1.3～1.5	1.1～1.2	1.05～1.1
改造难度	低	中（需布二次侧管路）	高（需专用罐体）
维护便利性	高	中（快接头易漏液风险）	低（需吊装GPU）
典型场景	推理集群、存储节点	大规模AI训练集群	超大规模、超高密度

冷板式液冷系统原理：冷却塔/干冷器 → 一次侧冷冻水（18~25°C）→ 板式换热器 → 二次侧去离子水 → CDU（冷量分配单元）→ 机柜内歧管 → GPU冷板。其中CDU负责压力调节、流量分配与水质监测，确保进入GPU冷板的水温高于露点，防止凝露。

网络架构：无阻塞的“胖树”与“正交”拓扑

GPU并行训练（如AllReduce、张量并行）对网络带宽与延迟极其敏感。一个拥有千卡级GPU的集群，其通信模式呈现典型的东西向流量风暴特征。因此，AI数据中心网络通常采用Clos（胖树）架构或正交架构（Orthogonal），实现无阻塞（Non-blocking）转发。

以典型的三层Clos架构为例：

• 接入层（Leaf）：每台GPU服务器配置8个100G/200G端口，连接至2台Leaf交换机（跨机柜冗余）。
• 汇聚层（Spine）：Leaf交换机上行端口连接至多台Spine交换机。若Leaf上行带宽总和等于下行带宽总和，则构成无阻塞网络。
• 核心层（可选）：超大规模集群（万卡级）需增加Core层，或采用“Spine-Fabric”扁平化设计。

对于NVIDIA DGX SuperPOD等参考架构，通常采用NVLink域（GPU间直连）与InfiniBand（跨节点通信）混合组网。IB网络使用自适应路由（AR）与拥塞控制（CC）机制，避免因多路径负载不均导致通信抖动。

# 典型GPU服务器网络接口配置（示例）
# 服务器：8×GPU + 8×CX-7 InfiniBand卡
# 每张IB卡连接一台Leaf交换机（共8台Leaf）
# Leaf交换机上行至Spine（40×400G）

Leaf-1# show interface ethernet 1/1
  Description: GPU-Server-01-IB0
  Admin State: up
  Speed: 400Gb/s
  MTU: 4096
  FEC: RS-FEC
  Traffic Statistics:
    RX: 12.5 Tbytes, TX: 11.8 Tbytes
    Errors: 0, Drops: 0

案例复盘：某智算中心千卡集群的“散热与供电协同”设计

某互联网公司建设了一个包含1024张H100 GPU的集群，采用32台8卡服务器（每台功耗约10.5kW）。初期方案采用传统风冷，单机柜部署4台服务器，功率密度达42kW/柜。实测发现：

1. 热点问题：机柜顶部服务器进风温度达35°C，导致GPU降频约8%，训练吞吐下降。
2. 供电瓶颈：原设计每机柜双路32A供电，实际电流接近满载，断路器频繁告警。

优化措施：改为冷板式液冷方案，单机柜部署8台服务器（84kW/柜），一次侧采用25°C冷冻水，PUE从1.45降至1.12。同时将供电升级为双路63A工业连接器，并配置智能PDU实时监测每相电流。改造后，GPU平均温度降低18°C，Boost频率稳定，训练任务完成时间缩短12%。