第二章：硬件基础与机房部署
各位同行，今天咱们聊聊GPU服务器的“骨架”和“窝”。
很多人觉得GPU集群就是堆显卡，其实不然。我见过太多案例，硬件选型时省了几万块，结果运维时天天跟过热、掉卡作斗争。说白了，硬件基础打不好，后面全是坑。
2.1 GPU服务器硬件组成
一台标准的GPU服务器，核心部件就这几样：主板、电源、散热系统。咱们一个个说。
2.1.1 主板
GPU服务器的主板跟普通服务器不一样。它需要更多的PCIe插槽，而且必须是x16的物理槽位。我个人习惯，选主板时先看PCIe通道数——CPU能提供的通道数决定了你能插多少张卡。
关键参数：
- PCIe 4.0/5.0 通道数：至少需要 64 条以上（8卡场景）
- 内存插槽：支持 RDIMM/LRDIMM，建议 16 槽以上
- BMC 管理芯片：必须支持 IPMI 2.0
我在项目中遇到过，某品牌主板号称支持8卡，结果实际插满后PCIe降速到x8。嗯，这里要注意：物理插槽是x16，不代表电气连接也是x16。买之前一定要看规格书里的“PCIe Lane Distribution”。
2.1.2 电源
GPU是电老虎。一张A100峰值功耗400W，8卡就是3200W。加上CPU、内存、风扇，整机功耗轻松突破4000W。
| GPU型号 | TDP（单卡） | 8卡整机建议电源 |
|---|---|---|
| A100 80GB | 400W | 4×2000W（冗余） |
| H100 | 700W | 4×3000W（冗余） |
| V100 | 300W | 4×1600W（冗余） |
避坑指南：我曾经见过有人用普通服务器电源带GPU，结果开机瞬间电流冲击直接炸了电容。GPU服务器必须用CRPS（Common Redundant Power Supply）标准电源，且要支持负载均衡。
2.1.3 散热系统
散热分两种：风冷和液冷。
- 风冷：主流方案。注意风扇要支持热插拔，且要有反向旋转功能——一个风扇坏了，相邻的会自动反转补风。我调过一台机器，风扇策略没配好，GPU温度差20度。
- 液冷：高密度场景必备。单机柜功率超过30kW，风冷基本压不住。液冷又分冷板式和浸没式，冷板式更常见。
2.2 NVLink与NVSwitch拓扑
为什么GPU之间要互联？因为大模型训练需要频繁交换梯度数据。如果走PCIe，带宽不够，延迟也高。NVLink就是干这个的。
2.2.1 NVLink
NVLink是NVIDIA的高速互联技术。每张H100有18个NVLink通道，每个通道50GB/s双向带宽。8张卡通过NVLink组成一个全互联拓扑——任意两张卡之间都是直连。
小技巧：用 nvidia-smi topo -m 可以查看GPU之间的拓扑关系。如果看到“NV”字样，说明走的是NVLink；如果是“PIX”或“PHB”，那就是PCIe。
2.2.2 NVSwitch
当GPU数量超过8张，比如DGX A100有16张卡，就需要NVSwitch了。它相当于一个高速交换机，让所有GPU都能全互联。
你看这张图，8个GPU通过一个NVSwitch全互联。每个GPU到NVSwitch的带宽是600GB/s，任意两个GPU之间通信只需要一跳。说白了，这就是个超级高速的“电话总机”。
2.3 机房电力与制冷要求
GPU集群的机房，跟普通机房是两个物种。我进过一个客户机房，机柜里塞了20台GPU服务器，结果空调一停，5分钟温度就飙到50度。
2.3.1 电力
- 功率密度：普通机房每机柜3-5kW，GPU机房至少20-40kW。我建议按40kW/柜设计，留余量。
- 电压：必须用三相电（380V/480V）。单相电带不动大功率电源。
- UPS：建议N+1冗余。GPU训练跑几天几夜，断电一次全白费。
计算公式：
单机柜功率 = GPU数量 × GPU TDP × 1.3（冗余系数）
例如：8×H100 = 8×700W×1.3 = 7280W ≈ 7.3kW2.3.2 制冷
风冷机房，建议冷热通道封闭。冷通道温度18-22度，热通道可以到35-40度。为什么？因为GPU排出的热风温度很高，如果热通道不封闭，冷热空气混合，制冷效率直线下降。
个人经验：我曾经用CFD仿真模拟过机房气流。发现一个规律——机柜顶部比底部温度高5-8度。所以部署时，把功耗高的GPU服务器放在机柜中下部，功耗低的放在顶部。
2.4 上架与布线规范
上架布线看着简单，但做不好就是灾难。我见过一个机房，网线乱得像蜘蛛网，排查故障时一根根捋，花了半天。
2.4.1 上架顺序
- 先装导轨：服务器导轨要水平，左右高度差不超过2mm。否则服务器推不进去。
- 从下往上装：重心稳，而且方便后续维护。
- 留1U间隙：每台服务器之间留1U空间，利于散热。
2.4.2 布线规范
- 电源线：用C19接口（大电流），不要用C13。每根线贴标签，标注“机柜号-U位-电源模块”。
- 网线：数据网和管理网分开。数据网用CAT6A以上，管理网用CAT5E即可。
- 光纤：NVLink用QSFP56或OSFP光模块。弯曲半径不小于30mm，别折了。
我曾经踩过的坑：有一次布线时，光纤和电源线绑在一起走线槽。结果电源线的电磁干扰导致光模块误码率飙升。后来我强制要求：强电和弱电分开走，间距至少10cm。
2.4.3 标签规范
我建议用统一命名规则：
格式：[机房]-[机柜号]-[U位]-[设备类型]-[序号]
示例：BJ01-A12-U15-GPU-SVR-01标签要防水、防油、耐高温。用热转印标签机打印，别用手写。
好了，硬件基础这部分就聊到这儿。记住一句话：硬件是地基，地基不稳，上层建筑全是危楼。下一章咱们聊聊操作系统和驱动安装，那又是另一番天地。