4. 机房基础设施规划

Supermicro GPU服务器(如SYS-821GE-TNHR、AS-8125GS-TNHR等8卡机型)单机满载功耗普遍在8~12 kW,远高于传统双路机架服务器的0.5~1 kW。这意味着机房改造的核心矛盾不再是"有没有机柜空间",而是"每机柜能不能供上电、散出热、压得住"。本章围绕计算功率密度、配电容量、UPS、制冷方式、机柜布局和承重评估六个维度,给出可落地的机房改造方案。

一、先算清功率密度,再谈改造

功率密度是全部基础设施规划的起点。以一台8×H100 SXM5的Supermicro GPU服务器为例:8块GPU每块约700 W,双路CPU约500 W,内存、NVMe、网卡、风扇等约400 W,整机典型满载约6.5~7 kW;若配置8×H100 NVL或B200,单机可达10~12 kW。按42U标准机柜放4台计算,单柜功率密度即达26~48 kW,是传统数据中心5~8 kW/柜的5~8倍。

规划时应区分三个口径:铭牌功率(电源额定,如4×3000 W=12 kW)、典型运行功率(实测或厂商PSU效率曲线推算,约铭牌70%~80%)、峰值功率(GPU训练瞬时冲高,可达铭牌95%以上)。配电与UPS按峰值设计,制冷按典型值加20%余量设计,避免过度投资。

示例计算:某机房拟部署12台8卡H100服务器,单机峰值10 kW,则IT总峰值功率=12×10=120 kW;按1.25倍冗余系数,配电容量需≥150 kW;若PUE目标1.3,则制冷系统需处理120×0.3=36 kW的额外热量。

二、配电容量与供电架构

GPU集群配电推荐采用"双路市电+UPS+列头柜(RPP)"架构。每台GPU服务器配4个PSU,应分别接入A、B两路PDU,实现N+N冗余。列头柜到机柜的支路建议按每柜2×32 A或2×63 A三相设计,具体取决于单柜功率:26 kW柜需2×63 A(三相400 V),48 kW柜需2×100 A以上。

线缆选型不可忽视:63 A三相支路建议用YJV 5×16 mm²铜缆,100 A用5×35 mm²。断路器按负载1.25倍选取,并校验启动冲击电流(GPU服务器上电瞬间可达额定3~5倍)。

三、UPS选型与后备时间

UPS容量按IT负载峰值×1.2~1.5选取。120 kW IT负载建议配置200 kVA模块化UPS(如华为UPS5000、施耐德Galaxy VS),支持N+1模块冗余。后备时间按"安全关机+切换发电机"需求设定,通常10~15分钟即可;若市电不稳定,可延长至30分钟。电池组建议用锂电(占地小、寿命长),并配置电池监控系统(BMS)。

UPS输出到服务器PDU之间应加装隔离变压器或滤波,抑制GPU负载产生的谐波(THD可达15%以上),避免影响同机房其他设备。

四、制冷方式选择

当单柜功率密度超过15 kW时,传统房间级精密空调(CRAC)已无法有效散热,必须采用近端制冷。常见方案对比:

制冷方式适用功率密度特点
房间级CRAC≤8 kW/柜成本低,但冷热混合严重
行级空调8~20 kW/柜靠近热源,效率提升30%
背板空调15~30 kW/柜贴柜安装,无需改造地板
冷板液冷30~100 kW/柜直接冷却GPU,PUE可降至1.1
浸没液冷≥50 kW/柜散热最强,但运维复杂

对于Supermicro GPU服务器,若单柜≤20 kW,推荐行级空调+冷热通道封闭;若单柜≥30 kW,建议直接采用冷板液冷(Supermicro多数GPU机型支持液冷版),配合CDU(冷量分配单元)和一次侧冷水机组。冷板液冷进水温度建议32~45 ℃,流量按每kW约1.5 L/min估算。

五、机柜布局与承重评估

机柜布局应遵循"高功率集中、冷热分离、运维通道≥1.2 m"原则。GPU机柜建议采用600 mm宽×1200 mm深×42U高规格,前后网孔门开孔率≥75%。同列机柜功率尽量均衡,避免单列局部过热。

承重是常被忽视的硬约束。一台满载GPU服务器约50~80 kg,42U机柜放4台即200~320 kg,加上机柜自重和PDU、线缆,单柜总重可达400~500 kg。若机房为旧楼改造,楼板活荷载可能仅5~8 kN/m²,而GPU机柜局部荷载可达10~15 kN/m²。改造前必须做结构复核,必要时加装钢梁分散荷载或采用承重架。

GPU机房基础设施规划关系图 计算功率密度 单机 6.5~12 kW 单柜 26~48 kW 配电容量 双路市电 + RPP 2×63A / 2×100A UPS 200 kVA N+1 后备 10~15 min 制冷方式 行级 / 冷板液冷 PUE 1.1~1.3 机柜布局 600×1200×42U 冷热通道封闭 运维通道 ≥1.2 m 承重评估 单柜总重 400~500 kg 局部荷载 10~15 kN/m² 旧楼需结构复核 改造方案闭环 功率密度 → 配电/UPS → 制冷 → 布局 → 承重复核 → 施工验收 任一环节不满足,需回退调整上游参数 不满足则回退

六、改造方案落地要点

综合以上分析,给出一个可参考的改造流程:

  1. 现场勘测:记录楼板结构、层高、现有配电容量、空调制冷量、消防等级。
  2. 功率核算:按拟部署GPU服务器型号和数量,计算IT峰值功率、单柜密度、总制冷需求。
  3. 配电改造:增容变压器或申请市电扩容,安装列头柜、PDU、UPS,敷设铜缆。
  4. 制冷改造:根据单柜密度选择行级空调或冷板液冷,改造冷热通道,加装温湿度传感器。
  5. 承重复核:委托结构工程师复核,必要时加装钢梁或分散荷载。
  6. 验收测试:满载烤机测试,监测各机柜进风温度(建议18~27 ℃)、PDU电流、UPS切换、液冷流量与压差。
常见误区:只按铭牌功率配UPS,忽略GPU瞬时峰值;只算IT功率,忽略制冷和配电损耗;旧楼改造不做承重复核,导致机柜下沉或楼板开裂。建议在方案设计阶段预留20%~30%的功率和制冷余量,为后续扩容留出空间。

机房基础设施改造是GPU集群稳定运行的地基。功率密度决定配电和制冷选型,承重决定布局可行性,UPS决定供电连续性。四者相互约束,必须统一核算、同步改造,才能支撑Supermicro GPU服务器的高密度部署。