4. 机房基础设施规划
Supermicro GPU服务器(如SYS-821GE-TNHR、AS-8125GS-TNHR等8卡机型)单机满载功耗普遍在8~12 kW,远高于传统双路机架服务器的0.5~1 kW。这意味着机房改造的核心矛盾不再是"有没有机柜空间",而是"每机柜能不能供上电、散出热、压得住"。本章围绕计算功率密度、配电容量、UPS、制冷方式、机柜布局和承重评估六个维度,给出可落地的机房改造方案。
一、先算清功率密度,再谈改造
功率密度是全部基础设施规划的起点。以一台8×H100 SXM5的Supermicro GPU服务器为例:8块GPU每块约700 W,双路CPU约500 W,内存、NVMe、网卡、风扇等约400 W,整机典型满载约6.5~7 kW;若配置8×H100 NVL或B200,单机可达10~12 kW。按42U标准机柜放4台计算,单柜功率密度即达26~48 kW,是传统数据中心5~8 kW/柜的5~8倍。
规划时应区分三个口径:铭牌功率(电源额定,如4×3000 W=12 kW)、典型运行功率(实测或厂商PSU效率曲线推算,约铭牌70%~80%)、峰值功率(GPU训练瞬时冲高,可达铭牌95%以上)。配电与UPS按峰值设计,制冷按典型值加20%余量设计,避免过度投资。
二、配电容量与供电架构
GPU集群配电推荐采用"双路市电+UPS+列头柜(RPP)"架构。每台GPU服务器配4个PSU,应分别接入A、B两路PDU,实现N+N冗余。列头柜到机柜的支路建议按每柜2×32 A或2×63 A三相设计,具体取决于单柜功率:26 kW柜需2×63 A(三相400 V),48 kW柜需2×100 A以上。
线缆选型不可忽视:63 A三相支路建议用YJV 5×16 mm²铜缆,100 A用5×35 mm²。断路器按负载1.25倍选取,并校验启动冲击电流(GPU服务器上电瞬间可达额定3~5倍)。
三、UPS选型与后备时间
UPS容量按IT负载峰值×1.2~1.5选取。120 kW IT负载建议配置200 kVA模块化UPS(如华为UPS5000、施耐德Galaxy VS),支持N+1模块冗余。后备时间按"安全关机+切换发电机"需求设定,通常10~15分钟即可;若市电不稳定,可延长至30分钟。电池组建议用锂电(占地小、寿命长),并配置电池监控系统(BMS)。
四、制冷方式选择
当单柜功率密度超过15 kW时,传统房间级精密空调(CRAC)已无法有效散热,必须采用近端制冷。常见方案对比:
| 制冷方式 | 适用功率密度 | 特点 |
|---|---|---|
| 房间级CRAC | ≤8 kW/柜 | 成本低,但冷热混合严重 |
| 行级空调 | 8~20 kW/柜 | 靠近热源,效率提升30% |
| 背板空调 | 15~30 kW/柜 | 贴柜安装,无需改造地板 |
| 冷板液冷 | 30~100 kW/柜 | 直接冷却GPU,PUE可降至1.1 |
| 浸没液冷 | ≥50 kW/柜 | 散热最强,但运维复杂 |
对于Supermicro GPU服务器,若单柜≤20 kW,推荐行级空调+冷热通道封闭;若单柜≥30 kW,建议直接采用冷板液冷(Supermicro多数GPU机型支持液冷版),配合CDU(冷量分配单元)和一次侧冷水机组。冷板液冷进水温度建议32~45 ℃,流量按每kW约1.5 L/min估算。
五、机柜布局与承重评估
机柜布局应遵循"高功率集中、冷热分离、运维通道≥1.2 m"原则。GPU机柜建议采用600 mm宽×1200 mm深×42U高规格,前后网孔门开孔率≥75%。同列机柜功率尽量均衡,避免单列局部过热。
承重是常被忽视的硬约束。一台满载GPU服务器约50~80 kg,42U机柜放4台即200~320 kg,加上机柜自重和PDU、线缆,单柜总重可达400~500 kg。若机房为旧楼改造,楼板活荷载可能仅5~8 kN/m²,而GPU机柜局部荷载可达10~15 kN/m²。改造前必须做结构复核,必要时加装钢梁分散荷载或采用承重架。
六、改造方案落地要点
综合以上分析,给出一个可参考的改造流程:
- 现场勘测:记录楼板结构、层高、现有配电容量、空调制冷量、消防等级。
- 功率核算:按拟部署GPU服务器型号和数量,计算IT峰值功率、单柜密度、总制冷需求。
- 配电改造:增容变压器或申请市电扩容,安装列头柜、PDU、UPS,敷设铜缆。
- 制冷改造:根据单柜密度选择行级空调或冷板液冷,改造冷热通道,加装温湿度传感器。
- 承重复核:委托结构工程师复核,必要时加装钢梁或分散荷载。
- 验收测试:满载烤机测试,监测各机柜进风温度(建议18~27 ℃)、PDU电流、UPS切换、液冷流量与压差。
机房基础设施改造是GPU集群稳定运行的地基。功率密度决定配电和制冷选型,承重决定布局可行性,UPS决定供电连续性。四者相互约束,必须统一核算、同步改造,才能支撑Supermicro GPU服务器的高密度部署。