3. 电力系统基础:市电引入、UPS、配电柜、PDU、接地与防雷

GPU集群的电力系统是支撑高密度算力的“血液循环系统”。一台8卡GPU服务器在满载时功耗可达6.5~10kW,一个机柜若部署4~8台服务器,功率密度将轻松突破30~60kW。如此高的功率密度,对电力供给的连续性、分配精度和安全性提出了远高于普通IDC的要求。本章从市电引入开始,沿电力流向逐一拆解UPS、配电柜、PDU,并重点讲解接地与防雷这两个常被忽视却关乎设备寿命与人身安全的关键环节。

3.1 核心原理:从市电到服务器电源的完整链路

GPU集群机房的电力系统通常采用“双路市电 + 备用发电机 + UPS”的冗余架构。其基本链路为:市电引入 → 变压器/低压配电柜 → UPS(不间断电源)→ 输出配电柜 → 列头柜/精密配电柜 → PDU(机架式电源分配单元)→ 服务器电源模块。每一级都承担着电压变换、保护隔离或能量缓冲的职责。

关键概念:UPS(Uninterruptible Power Supply)并非“发电设备”,而是介于市电与负载之间的电能质量治理与后备电源装置。其核心由整流器、逆变器、蓄电池组和静态旁路开关组成。市电正常时,整流器将交流电转为直流电,一部分为电池充电,另一部分经逆变器重新转为纯净的交流电供给负载;市电中断时,电池组立即放电,经逆变器持续供电,实现零切换时间。

对于GPU集群而言,电力系统的核心指标并非简单的“有没有电”,而是供电连续性(可用性)与电能质量(电压/频率稳定性)。GPU训练任务动辄数天甚至数周,一次意外的电力中断就可能导致训练任务中断、模型参数丢失,损失远超电力成本本身。

GPU集群机房电力系统链路与冗余架构 市电引入 A路 10kV/380V 市电引入 B路 独立变电站 柴油发电机 备用电源 ATS/STS 自动切换开关 UPS 系统 整流器 + 逆变器 蓄电池组 (15-30min) 静态旁路 低压配电柜 总开关/断路器 SPD防雷模块 电流互感器 列头柜 精密配电 支路监测 双路切换 PDU 机架式 C13/C19 插座 36kW 支持 GPU 服务器 8卡×350W 冗余电源 接地系统:TN-S / 接地电阻 < 1Ω 防雷接地 + 保护接地 + 直流接地 联合共用 三级防雷:B级→C级→D级 SPD浪涌保护器逐级泄放 市电/发电机 UPS/配电 配电柜/列头柜 PDU GPU服务器 接地/防雷

3.2 方法流程:UPS选型与配电容量计算

规划GPU集群机房电力系统时,应遵循“先算功率、再定架构、后选设备”的流程。以下是核心步骤:

  1. 统计IT负载总功率:以单机柜为单位,统计GPU服务器、交换机、存储等设备的额定功率,并乘以同时使用系数(通常取0.85~0.95)。例如,一个部署4台8卡GPU服务器(每台约8kW)的机柜,IT负载约为32kW。
  2. 确定冗余等级:GPU训练集群建议采用2N或DR(分布式冗余)架构,即两套UPS系统互为备份,任何一套故障或检修时,另一套可独立承担全部负载。若预算有限,至少应做到N+1(模块冗余)。
  3. 计算UPS容量:UPS额定容量(kVA)= IT负载功率(kW)÷ 输出功率因数(通常为0.9)÷ 带载率(建议不超过80%)。例如,IT负载为200kW时,UPS容量应不低于 200 ÷ 0.9 ÷ 0.8 ≈ 278kVA,可选用2台300kVA UPS组成2N架构。
  4. 配置电池后备时间:GPU集群的UPS电池后备时间通常为15~30分钟,用于支撑发电机启动并完成负载切换。若机房无发电机,则需延长至1~2小时,但电池组成本将大幅上升。
  5. 设计配电柜与PDU:根据机柜功率密度选择PDU规格。30kW以上机柜建议采用三相PDU,并配置C19高电流插座(16A/32A),而非普通C13插座(10A)。
机柜功率密度 PDU类型 输入电压 单柜最大电流 适用场景
≤ 10kW 单相PDU,C13插座 220V 32A 低密度存储/网络机柜
10~25kW 单相/三相PDU,C13+C19 220V / 380V 63A 中等密度GPU推理集群
25~60kW 三相PDU,全C19插座 380V三相 125A 高密度GPU训练集群
> 60kW 三相PDU + 液冷辅助 380V三相 ≥ 160A 超大规模HPC/AI集群

3.3 案例场景:一次GPU训练集群的电力故障复盘

某AI公司部署了32台8卡GPU服务器用于大模型训练,机房采用单路市电 + 单台UPS(N+1模块)架构。某日雷雨天气,市电线路遭雷击导致电压骤降,UPS正常切换至电池供电。然而,由于电池组老化,实际后备时间仅剩约8分钟(设计为20分钟),而柴油发电机因长期未进行带载测试,启动后未能自动并机,导致机房在UPS电池耗尽后完全断电。

事故造成的影响:

  • 正在运行的3个训练任务全部中断,其中1个任务因模型参数未及时保存,损失了约12小时的训练进度。
  • 部分GPU服务器电源模块在断电瞬间损坏,经排查为电源输入端浪涌冲击所致。
  • 机房空调系统停机,机柜温度在15分钟内升至45°C,触发高温告警。
复盘教训:① 单路市电 + 单UPS架构对GPU集群而言冗余度不足,至少应实现“双路市电 + UPS 2N”或“市电 + 发电机 + UPS N+1”;② 电池组需每季度进行容量测试,每年进行满载放电测试;③ 发电机必须每月空载启动、每季度带载测试,确保自动转换开关(ATS)动作可靠;④ 配电柜内SPD防雷模块需定期检查劣化指示窗口,雷雨季节前应重点巡检。

3.4 接地与防雷:不可忽视的生命线

接地系统是机房电力安全的基础,其作用包括:保护人身安全(防止触电)、保障设备稳定运行(提供参考零电位)、泄放雷击电流。GPU集群机房应采用TN-S接地系统(三相五线制),即保护接地线(PE)与中性线(N)从变压器起完全分开。

机房接地电阻要求:

  • 防雷接地:独立接地电阻 ≤ 10Ω,通常与主接地网共用。
  • 保护接地:接地电阻 ≤ 4Ω,所有设备金属外壳必须可靠接地。
  • 直流接地(信号接地):接地电阻 ≤ 1Ω,为服务器逻辑电路提供稳定参考地。

实际工程中,GPU集群机房通常采用联合接地方式,即防雷、保护、直流工作接地共用一套接地网,接地电阻要求按最严格者执行(≤ 1Ω)。这避免了不同接地系统之间的电位差,防止地电位反击损坏设备。

防雷系统采用三级防护策略:

  1. 第一级(B级):在总配电柜进线处安装大通流量的浪涌保护器(SPD),通流容量不低于60kA(10/350μs波形),用于泄放直击雷或邻近雷击产生的大部分能量。
  2. 第二级(C级):在UPS输出配电柜或列头柜处安装SPD,通流容量20~40kA(8/20μs波形),进一步削减残压。
  3. 第三级(D级):在PDU或服务器电源入口处安装精细保护SPD,通流容量5~10kA,将残压限制在设备耐受范围内(通常低于1500V)。
实操建议:在GPU服务器机柜内,建议选用带浪涌保护功能的智能PDU,并确保PDU的PE端子与机柜接地排可靠连接。机柜间接地排应采用截面积不小于16mm²的铜导线与机房等电位接地网相连。对于采用380V三相供电的高密度机柜,务必确认三相负载均衡,避免中性线过载。

此外,机房等电位连接至关重要。所有金属桥架、机柜、管道、防静电地板支架均需通过等电位连接带与接地网相连,形成“法拉第笼”效应,降低雷击时各金属部件间的电位差。GPU服务器对地电位差敏感,若不同机柜间地电位差过大,可能导致网络通信丢包或GPU卡间通信异常。

综上所述,GPU集群机房的电力系统设计应始终围绕“冗余供电 + 连续供电 + 安全接地”三大目标展开。从市电引入到PDU输出,每一级设备都需精心选型与维护,而接地与防雷则是保障这一切安全运行的基石。只有在电力系统上做到万无一失,才能为上层GPU算力的稳定输出提供坚实保障。