3. 机房物理基础设施规划

高密度服务器机房的物理基础设施规划,本质上是在有限的地面面积、层高和供电容量内,为数十甚至上百台高功率服务器建立一条稳定、可维护、可扩展的物理承载与能量输送通道。Supermicro 高密度机型(如 8U 的 SYS-821GE-TNHR、4U 的 GPU 服务器)单机柜功率常达到 20~60 kW,远超传统企业机房 5~8 kW/柜的水平。因此本章不讨论"买什么机柜",而是回答四个相互耦合的问题:机柜怎么排、楼板能不能承、冷热气流怎么隔离、电和热怎么算得清。

一、机柜布局:从冷热通道到可用面积

机柜布局的第一原则是"面对面、背对背"。两排机柜正面相对形成冷通道,背面相对形成热通道,这样每台服务器的进风口都朝向同一侧,避免前排热风直接吸入后排进风口。典型布局参数如下:机柜标准宽度 600 mm、深度 1070~1200 mm(高密度 GPU 服务器建议 1200 mm 深柜),冷通道净宽 1200 mm,热通道净宽 900~1000 mm。若采用 1200 mm 冷通道 + 600 mm 柜宽 + 1000 mm 热通道,一个"冷-柜-热-柜"单元占地约 4.0 m,这是估算机房可容纳机柜排数的基本模数。

布局还需预留三类空间:一是端部回风与消防通道,通常每排端头留 900 mm 以上;二是配电列头柜与 PDU 的安装位置,一般放在每排机柜端部或热通道侧;三是运维通道,冷通道内不应堆放任何物品。以 200 m² 矩形机房为例,扣除墙边通道和配电区后有效布置面积约 150 m²,按上述模数可布置约 6 排、每排 10 柜,合计约 60 个机柜位。这个数字必须在设计阶段与配电容量、制冷容量同步校核,而不是先排柜再补电。

二、承重与抗震:楼板与机柜的双重校核

承重校核分两层。第一层是楼板均布荷载:普通办公楼层活荷载约 2.0~3.0 kN/m²,而高密度机房局部可达 8~12 kN/m²。一台满载 8U GPU 服务器约 60~80 kg,一个 42U 机柜装满约 800~1200 kg,加上机柜自重和 PDU,单柜总重可超过 1300 kg。若机柜底面积按 0.6 m × 1.2 m = 0.72 m² 计,局部荷载约 18 kN/m²,远超普通楼板。工程上通常采用两种处理:一是将机柜集中布置在梁柱附近或承重墙边,二是加装承重钢平台或分散式底座,把集中荷载扩散到更大面积。

第二层是抗震。机柜必须与楼板或抗震底座可靠固定,常用做法是机柜顶部与底部同时用膨胀螺栓或抗震支架连接,顶部通过抗震拉杆与结构梁连接,防止地震时机柜倾覆。机柜内重型设备(如 GPU 服务器)应尽量安装在机柜下部,降低重心。抗震设防烈度 7 度及以上地区,建议选用通过抗震测试的机柜,并在机柜列间加装横向连接件,使整排机柜形成整体。需要强调的是,抗震与承重不是两个独立问题:抗震支架的锚固点本身也要做拉拔力校核,锚栓规格和埋深需按混凝土强度等级计算。

三、冷热通道封闭:把冷风"关"在服务器前面

冷热通道封闭的目标是消除冷热气流混合。未封闭时,冷通道的冷风会从机柜顶部和端部短路进入热通道,导致回风温度偏低、制冷效率下降。封闭方式主要有两种:冷通道封闭(在冷通道上方加顶板、两端加门)和热通道封闭(在热通道上方加顶板、两端加门)。高密度场景更推荐热通道封闭,因为热通道内温度高、体积小,封闭后回风温度可稳定在 35~40 ℃,有利于提高冷冻水回水温度、延长自然冷却时间。

封闭实施要点:顶板建议采用透明或半透明防火板,兼顾采光和消防;端门应选用双开门并带观察窗,门宽不小于 900 mm,便于推车进出;顶板与机柜顶部之间、门框与机柜之间的缝隙需用毛刷或密封条封堵,缝隙总面积应控制在通道截面积的 5% 以内。封闭后必须校核消防:若采用全封闭冷通道,需与气体灭火系统联动,在灭火时自动开启泄压口。此外,封闭通道内应布置温湿度传感器,监测冷通道进风温度是否稳定在 18~27 ℃(推荐 22~24 ℃)。

四、高密度机柜的配电与散热需求评估

配电评估从单柜功率入手。以一台 8U GPU 服务器为例,配置 8 张 700 W GPU、2 颗 350 W CPU、内存与硬盘约 200 W,整机峰值约 6.5 kW;一个 42U 机柜若装 4 台,单柜峰值约 26 kW。若采用 2N 供电,每路需承担 26 kW,按 220 V 单相计算电流约 118 A,需选用 125 A 以上 PDU 和相应线缆;若采用三相 380 V 供电,每相约 40 A,可选用 60 A 三相 PDU。实际工程中更常见的是按 0.8 功率因数、1.25 倍余量估算,即单柜设计容量取 32~35 kVA。

散热评估与配电同步进行。单柜 26 kW 意味着每小时约 89,000 kJ 的热量需要排出。若冷通道送风温度 22 ℃、回风温度 38 ℃,温差 16 ℃,按空气比热 1.005 kJ/(kg·K)、密度 1.2 kg/m³ 估算,所需风量约为 89,000 / (1.005 × 1.2 × 16) ≈ 4,600 m³/h,即约 1,280 L/s。这个风量必须由机柜风扇、架空地板送风口或行级空调共同提供。若采用架空地板送风,单个 600 mm × 600 mm 开孔地板送风量约 500~800 m³/h,则每柜需 6~9 块开孔地板,且开孔率应达到 25%~40%。若风量不足,服务器进风温度会升高,GPU 降频,实测算力下降。

评估顺序建议:先确定单柜峰值功率 → 计算配电容量与线缆/PDU 规格 → 由功率反推所需风量与送风方式 → 校核楼板承重与抗震 → 最后确定机柜排布与通道封闭方案。任何一步不满足,都应回到上一步调整,而不是在末端"打补丁"。
高密度机柜冷热通道封闭与配电散热关系示意 冷通道 送风 22~24 ℃ 净宽 1200 mm 开孔地板 6~9 块/柜 风量 ≈ 4600 m³/h 机柜列 A 4×8U GPU 单柜 26 kW 总重 ≈ 1300 kg 机柜列 B 4×8U GPU 单柜 26 kW 总重 ≈ 1300 kg 热通道 回风 35~40 ℃ 净宽 900~1000 mm 顶部封闭板 端门 + 密封条 冷风穿过 配电与承重校核 2N 供电:每路 26 kW 单相 118 A / 三相 40 A 楼板局部荷载 ≈ 18 kN/m² 需钢平台或梁柱附近布置 抗震:顶底锚固 + 拉杆 重型设备置于机柜下部 冷通道 热通道 机柜列

五、把四项评估串成一张校核表

实际项目中,建议把上述内容整理成一张单柜校核表,逐柜填写、逐排汇总。以下为示例字段(数值为教学假设,非实测):

校核项示例值判断依据
单柜峰值功率26 kW设备铭牌功率之和 × 0.9
配电容量(含余量)32 kVA峰值 / 0.8 功率因数
PDU 规格三相 60 A 或单相 125 A按 2N 每路电流选型
所需风量≈ 4600 m³/hQ = P / (ρ·c·ΔT)
开孔地板数量6~9 块单块 500~800 m³/h
单柜总重≈ 1300 kg设备 + 机柜 + PDU
楼板局部荷载≈ 18 kN/m²总重 / 底面积
抗震锚固顶部拉杆 + 底部膨胀螺栓按设防烈度校核

这张表的价值在于把"能不能装"变成"逐项能不能过"。任何一项不通过,都要回到布局或配电方案调整。例如风量不足时,可先尝试提高冷通道送风量或改用行级空调;若仍不足,则需降低单柜设备密度,把 4 台 8U 改为 3 台,或改用液冷方案。承重不足时,优先调整机柜位置到梁柱附近,其次加钢平台。抗震不满足时,必须补做锚固设计,不能以"设备不重"为由省略。

高密度机房的物理规划不是一次性设计,而是随设备迭代持续复核的过程。当单柜功率从 26 kW 提升到 40 kW 时,原有配电、风量、承重结论可能全部失效。建议每引入一代新机型,都重新跑一遍上述校核表,并保留历史版本以便对比。

总结来说,机柜布局决定气流路径和可用面积,承重与抗震决定设备能否安全落地,冷热通道封闭决定冷量是否被有效利用,配电与散热评估决定单柜功率上限。四者互相约束,必须同步计算、同步校核,才能让 Supermicro 高密度服务器在机房中稳定运行,而不是"装得下却跑不动"。