3. 机房物理基础设施规划
高密度服务器机房的物理基础设施规划,本质上是在有限的地面面积、层高和供电容量内,为数十甚至上百台高功率服务器建立一条稳定、可维护、可扩展的物理承载与能量输送通道。Supermicro 高密度机型(如 8U 的 SYS-821GE-TNHR、4U 的 GPU 服务器)单机柜功率常达到 20~60 kW,远超传统企业机房 5~8 kW/柜的水平。因此本章不讨论"买什么机柜",而是回答四个相互耦合的问题:机柜怎么排、楼板能不能承、冷热气流怎么隔离、电和热怎么算得清。
一、机柜布局:从冷热通道到可用面积
机柜布局的第一原则是"面对面、背对背"。两排机柜正面相对形成冷通道,背面相对形成热通道,这样每台服务器的进风口都朝向同一侧,避免前排热风直接吸入后排进风口。典型布局参数如下:机柜标准宽度 600 mm、深度 1070~1200 mm(高密度 GPU 服务器建议 1200 mm 深柜),冷通道净宽 1200 mm,热通道净宽 900~1000 mm。若采用 1200 mm 冷通道 + 600 mm 柜宽 + 1000 mm 热通道,一个"冷-柜-热-柜"单元占地约 4.0 m,这是估算机房可容纳机柜排数的基本模数。
布局还需预留三类空间:一是端部回风与消防通道,通常每排端头留 900 mm 以上;二是配电列头柜与 PDU 的安装位置,一般放在每排机柜端部或热通道侧;三是运维通道,冷通道内不应堆放任何物品。以 200 m² 矩形机房为例,扣除墙边通道和配电区后有效布置面积约 150 m²,按上述模数可布置约 6 排、每排 10 柜,合计约 60 个机柜位。这个数字必须在设计阶段与配电容量、制冷容量同步校核,而不是先排柜再补电。
二、承重与抗震:楼板与机柜的双重校核
承重校核分两层。第一层是楼板均布荷载:普通办公楼层活荷载约 2.0~3.0 kN/m²,而高密度机房局部可达 8~12 kN/m²。一台满载 8U GPU 服务器约 60~80 kg,一个 42U 机柜装满约 800~1200 kg,加上机柜自重和 PDU,单柜总重可超过 1300 kg。若机柜底面积按 0.6 m × 1.2 m = 0.72 m² 计,局部荷载约 18 kN/m²,远超普通楼板。工程上通常采用两种处理:一是将机柜集中布置在梁柱附近或承重墙边,二是加装承重钢平台或分散式底座,把集中荷载扩散到更大面积。
第二层是抗震。机柜必须与楼板或抗震底座可靠固定,常用做法是机柜顶部与底部同时用膨胀螺栓或抗震支架连接,顶部通过抗震拉杆与结构梁连接,防止地震时机柜倾覆。机柜内重型设备(如 GPU 服务器)应尽量安装在机柜下部,降低重心。抗震设防烈度 7 度及以上地区,建议选用通过抗震测试的机柜,并在机柜列间加装横向连接件,使整排机柜形成整体。需要强调的是,抗震与承重不是两个独立问题:抗震支架的锚固点本身也要做拉拔力校核,锚栓规格和埋深需按混凝土强度等级计算。
三、冷热通道封闭:把冷风"关"在服务器前面
冷热通道封闭的目标是消除冷热气流混合。未封闭时,冷通道的冷风会从机柜顶部和端部短路进入热通道,导致回风温度偏低、制冷效率下降。封闭方式主要有两种:冷通道封闭(在冷通道上方加顶板、两端加门)和热通道封闭(在热通道上方加顶板、两端加门)。高密度场景更推荐热通道封闭,因为热通道内温度高、体积小,封闭后回风温度可稳定在 35~40 ℃,有利于提高冷冻水回水温度、延长自然冷却时间。
封闭实施要点:顶板建议采用透明或半透明防火板,兼顾采光和消防;端门应选用双开门并带观察窗,门宽不小于 900 mm,便于推车进出;顶板与机柜顶部之间、门框与机柜之间的缝隙需用毛刷或密封条封堵,缝隙总面积应控制在通道截面积的 5% 以内。封闭后必须校核消防:若采用全封闭冷通道,需与气体灭火系统联动,在灭火时自动开启泄压口。此外,封闭通道内应布置温湿度传感器,监测冷通道进风温度是否稳定在 18~27 ℃(推荐 22~24 ℃)。
四、高密度机柜的配电与散热需求评估
配电评估从单柜功率入手。以一台 8U GPU 服务器为例,配置 8 张 700 W GPU、2 颗 350 W CPU、内存与硬盘约 200 W,整机峰值约 6.5 kW;一个 42U 机柜若装 4 台,单柜峰值约 26 kW。若采用 2N 供电,每路需承担 26 kW,按 220 V 单相计算电流约 118 A,需选用 125 A 以上 PDU 和相应线缆;若采用三相 380 V 供电,每相约 40 A,可选用 60 A 三相 PDU。实际工程中更常见的是按 0.8 功率因数、1.25 倍余量估算,即单柜设计容量取 32~35 kVA。
散热评估与配电同步进行。单柜 26 kW 意味着每小时约 89,000 kJ 的热量需要排出。若冷通道送风温度 22 ℃、回风温度 38 ℃,温差 16 ℃,按空气比热 1.005 kJ/(kg·K)、密度 1.2 kg/m³ 估算,所需风量约为 89,000 / (1.005 × 1.2 × 16) ≈ 4,600 m³/h,即约 1,280 L/s。这个风量必须由机柜风扇、架空地板送风口或行级空调共同提供。若采用架空地板送风,单个 600 mm × 600 mm 开孔地板送风量约 500~800 m³/h,则每柜需 6~9 块开孔地板,且开孔率应达到 25%~40%。若风量不足,服务器进风温度会升高,GPU 降频,实测算力下降。
五、把四项评估串成一张校核表
实际项目中,建议把上述内容整理成一张单柜校核表,逐柜填写、逐排汇总。以下为示例字段(数值为教学假设,非实测):
| 校核项 | 示例值 | 判断依据 |
|---|---|---|
| 单柜峰值功率 | 26 kW | 设备铭牌功率之和 × 0.9 |
| 配电容量(含余量) | 32 kVA | 峰值 / 0.8 功率因数 |
| PDU 规格 | 三相 60 A 或单相 125 A | 按 2N 每路电流选型 |
| 所需风量 | ≈ 4600 m³/h | Q = P / (ρ·c·ΔT) |
| 开孔地板数量 | 6~9 块 | 单块 500~800 m³/h |
| 单柜总重 | ≈ 1300 kg | 设备 + 机柜 + PDU |
| 楼板局部荷载 | ≈ 18 kN/m² | 总重 / 底面积 |
| 抗震锚固 | 顶部拉杆 + 底部膨胀螺栓 | 按设防烈度校核 |
这张表的价值在于把"能不能装"变成"逐项能不能过"。任何一项不通过,都要回到布局或配电方案调整。例如风量不足时,可先尝试提高冷通道送风量或改用行级空调;若仍不足,则需降低单柜设备密度,把 4 台 8U 改为 3 台,或改用液冷方案。承重不足时,优先调整机柜位置到梁柱附近,其次加钢平台。抗震不满足时,必须补做锚固设计,不能以"设备不重"为由省略。
总结来说,机柜布局决定气流路径和可用面积,承重与抗震决定设备能否安全落地,冷热通道封闭决定冷量是否被有效利用,配电与散热评估决定单柜功率上限。四者互相约束,必须同步计算、同步校核,才能让 Supermicro 高密度服务器在机房中稳定运行,而不是"装得下却跑不动"。