📚 课程目录第2章算力基础设施

算力基础设施：数据中心、服务器、GPU/TPU等硬件基础

算力基础设施是端到端算力链路中最底层、最坚实的物理承载。无论是云端训练大模型，还是边缘侧执行推理，所有算力最终都要落到具体的硬件设备上。理解数据中心的层级结构、服务器的组成逻辑以及GPU/TPU等加速芯片的差异，是后续进行链路优化与部署贯通的前提。

2.1 数据中心：算力的物理容器与神经中枢

数据中心并非简单的“放服务器的机房”，而是一个集供电、制冷、网络、安防与运维于一体的复杂系统。从算力链路视角看，数据中心决定了算力的规模上限、可用性与能效边界。

一个典型的数据中心可划分为以下关键子系统：

供配电系统：包括市电引入、UPS（不间断电源）、柴油发电机和PDU（电源分配单元）。GPU服务器功耗极高，单机柜功率密度常达20kW-50kW，传统风冷机柜已难以应对。
制冷系统：风冷（CRAC/CRAH）逐步向液冷（冷板式、浸没式）演进。液冷可将PUE（电能利用效率）从1.4降至1.1以下，是高密度算力集群的必然选择。
网络架构：采用Spine-Leaf（脊-叶）无阻塞网络架构，东西向流量带宽远大于南北向。GPU集群训练时的梯度同步高度依赖内部网络低时延。
资源调度层：通过DCIM（数据中心基础设施管理）或K8s+GPU调度器，实现计算资源的池化与动态分配。

  核心指标：PUE = 数据中心总能耗 / IT设备能耗。PUE越接近1，说明电能越集中于算力输出。当前先进液冷数据中心PUE可低至1.05-1.15。

2.2 服务器：从通用计算到AI专用架构

AI服务器与传统通用服务器在设计理念上有本质差异。通用服务器追求单核性能与内存容量，而AI服务器则围绕异构计算与高带宽数据搬运进行重构。

以典型的8卡GPU服务器为例，其关键硬件组成如下：

组件	典型配置	算力链路中的作用
CPU	2× Intel Xeon / AMD EPYC（64-96核）	数据预处理、指令调度、PCIe通道管理
GPU加速卡	8× NVIDIA H100/A100 或国产昇腾910B	矩阵运算、张量计算核心
GPU互联	NVLink 3.0/4.0（900GB/s）或 NVSwitch	卡间高速通信，避免PCIe瓶颈
系统内存	2TB-4TB DDR5 ECC	CPU侧数据暂存与交换
本地存储	8-16TB NVMe SSD（U.2/E3.S）	训练数据缓存、checkpoint临时写入
网络接口	8× 100G/200G RoCEv2 或 InfiniBand NDR	跨节点梯度同步与数据并行通信

关键认知：GPU服务器中，CPU与GPU之间通过PCIe 5.0（单向64GB/s）连接，但GPU与GPU之间通过NVLink（单向450GB/s）直连。因此，多卡通信必须走NVLink，而跨机通信才走RoCE/IB网络。优化数据流时，应尽量减少PCIe链路上的数据搬运。

2.3 GPU与TPU：加速芯片的架构差异与选型逻辑

GPU与TPU是当前AI算力芯片的两大主流路线，理解其架构差异有助于在部署时做出正确的硬件选型。

GPU（以NVIDIA H100为例）：采用SIMT（单指令多线程）架构，拥有132个SM（流式多处理器），每个SM包含128个FP32单元和4个Tensor Core。其优势在于通用性强，支持FP32/FP16/BF16/FP8/INT8等多种精度，适合Transformer、CNN、RLHF等多种负载。H100的NVLink域内最多可支持256卡互联，形成超大规模算力池。

TPU（以Google TPU v5e为例）：采用脉动阵列（Systolic Array）架构，专为矩阵乘法设计。其优势在于能效比高，在相同功耗下可提供更高的密集矩阵算力。但灵活性不如GPU，对非矩阵类算子（如动态Shape、稀疏操作）支持较弱。TPU通常通过ICI（Inter-Chip Interconnect）组成3D Torus拓扑，适合超大规模同步训练。

  选型建议：
  追求生态兼容与多框架支持（PyTorch/TensorFlow/JAX）→ 选GPU。
追求极致能效比与大规模同步训练（如千卡级以上）→ 选TPU。
推理场景对时延敏感且模型结构固定 → 可考虑ASIC（如Google Edge TPU、华为昇腾310）。

2.4 部署案例：某智算中心GPU集群的硬件配置

以下是一个真实的中型智算中心训练集群的硬件配置清单，用于说明各组件如何协同构成算力链路。

集群规模：128台 GPU服务器（总计1024张 GPU）
单节点配置：
  - CPU: 2× AMD EPYC 9654 (96C/192T)
  - GPU: 8× NVIDIA H100 SXM5 (80GB HBM3)
  - 内存: 2TB DDR5-4800 ECC
  - 本地盘: 8× 3.84TB NVMe SSD (RAID0)
  - 网卡: 8× 200G RoCEv2 (CX-7)
网络拓扑：
  - Leaf层: 32台 400G 交换机（每台接入8台服务器）
  - Spine层: 8台 400G 交换机（全网状互联）
  - 存储网络: 独立100G RoCEv2 连接并行文件系统
制冷方案：
  - 冷板式液冷，CDU分配至每个机柜
  - 设计PUE ≤ 1.12
调度软件：
  - Slurm + Kubernetes (Volcano调度器)
  - NVIDIA DGX Cloud 管理平台

该集群在运行千亿参数大模型训练时，通过NVLink域内通信与RoCEv2跨机通信的协同，实现了约85%的线性扩展效率（从256卡扩展到1024卡）。

2.5 常见误区与复盘

误区一：盲目追求单卡算力，忽视互联带宽。 很多团队在选购服务器时只关注GPU的FLOPS指标，却忽略了NVLink带宽与网络拓扑。实际上，当模型并行度较高时，通信时间可能占总训练时间的30%-50%。若GPU间互联带宽不足，再高的单卡算力也无法发挥。

误区二：将通用服务器直接用于AI训练。 通用服务器通常只有2-4个PCIe插槽，且缺乏NVLink支持。若强行插入多张GPU卡，卡间通信将走PCIe Switch，带宽仅为NVLink的1/10左右，导致多卡训练效率急剧下降。必须选用专为AI设计的GPU服务器（如DGX系列或国产AI服务器）。

误区三：忽略CPU与内存的瓶颈。 在数据加载阶段，CPU负责将数据从存储读取并预处理（解码、增强、Tokenize）。若CPU核数不足或内存带宽不够，GPU将处于“饿死”状态（利用率低于50%）。建议CPU与GPU的配比不低于1:4（按核心数），且使用高性能NVMe存储。

复盘要点：在算力基础设施规划中，应遵循“先定互联，再定算力”的原则。即先明确训练任务所需的卡间通信模式（数据并行、张量并行、流水线并行），再据此选择NVLink域大小、网络带宽与拓扑结构。同时，务必关注PUE与液冷方案，因为高密度算力集群的散热能力往往成为实际算力输出的天花板。