1. 课程导入：学习目标、课程结构、AI算力集群的行业背景与价值
1.1 为什么你需要理解AI算力集群
2023年以来，大语言模型与多模态模型的参数规模以每年约10倍的速度增长。训练一次千亿级参数模型所需的浮点运算量已突破1024次（即1 ExaFLOP级别），单块GPU已无法承载。与此同时，GPU的显存带宽、互联带宽与计算核心的增长速度远低于模型参数的增长速度，这迫使工程界将数百至数万块GPU组织为AI算力集群，通过并行计算与高速互联来突破单卡瓶颈。
AI算力集群并非简单的“很多GPU插在一起”。它涉及计算网络（GPU间通信拓扑）、存储系统（检查点与数据集读写）、调度平台（资源分配与任务编排）、能耗管理（供电与散热）等多个层次。任何一个环节设计不当，都会导致GPU利用率从理想的90%以上骤降至30%以下——这种效率损失在数千卡规模下意味着每天数十万元的电费与折旧成本被白白浪费。
1.2 本课程学习目标与适用人群
本课程面向数据中心基础设施工程师、AI平台运维人员、算法工程师以及技术决策者，共30章，按“硬件→网络→软件→实践”四层递进。完成学习后，你将能够：
- 看懂架构：读懂GPU服务器内部拓扑（NVLink/PCIe）、跨节点网络拓扑（InfiniBand/ RoCEv2）以及存储架构图；
- 量化评估：使用NCCL测试、DCGM监控等工具，量化集群的算力利用率、通信带宽与延迟指标；
- 定位故障：区分是GPU硬件故障、网络拥塞、存储瓶颈还是调度策略导致的训练中断或性能下降；
- 规划扩容：根据模型规模与训练吞吐需求，计算所需GPU数量、网络带宽与存储容量，并评估不同方案的性价比。
| 章节模块 | 覆盖范围 | 关键技能 |
|---|---|---|
| 第1-5章：基础与硬件 | GPU架构、服务器形态、液冷/风冷 | 读懂拓扑图、选型对比 |
| 第6-12章：网络与存储 | InfiniBand、RoCE、并行文件系统 | 网络配置、带宽计算 |
| 第13-20章：平台与调度 | Slurm/K8s、NCCL、容器化 | 任务编排、环境部署 |
| 第21-25章：性能调优 | Profiling、通信压缩、数据加载 | 瓶颈分析、参数调优 |
| 第26-30章：运维与案例 | 故障排查、成本优化、行业实践 | 根因分析、方案设计 |
1.3 AI算力集群的行业背景：从单卡到万卡
2012年AlexNet使用2块GTX 580训练6天，当时业界认为“深度学习不需要超算”。2018年BERT-Large使用64块V100训练4天，2020年GPT-3使用上万块V100训练数月，而2024年发布的Llama-3-405B则使用了超过3万块H100。这一演进背后是三个趋势的叠加：
- 模型规模指数增长：参数从百万级增长到万亿级，单卡显存（80GB H100）仅能容纳模型参数的1/1000；
- 数据并行与张量并行：需要将模型切分到多卡，每前向/反向传播一次都需要跨卡通信，通信量随并行度上升；
- 集群规模成为核心竞争力：拥有万卡集群的企业，其模型迭代速度是千卡集群的5-10倍，形成“算力鸿沟”。
以GPT-3 175B模型为例，在1024块A100（80GB）集群上训练，若采用数据并行（每卡完整副本）+张量并行（层内切分），每个训练步（batch size 1536）需要处理约3.5TB的梯度交换数据。若网络带宽为200Gbps（实际有效约160Gbps），则每步通信耗时约175秒，而计算耗时仅约50秒——通信成为绝对瓶颈。这正是AI集群需要专门设计无阻塞网络（如Fat-Tree拓扑）与集合通信库（如NCCL）的原因。
1.4 典型AI算力集群的分层架构
为了建立整体认知，我们先给出一个贯穿全课程的分层参考架构。后续所有章节都会围绕该架构展开：
图中自下而上展示了五个层次：基础设施层提供供电与散热；硬件与网络层决定GPU间通信的物理上限；系统软件层通过NCCL等库将硬件能力抽象为高效的集合通信原语；资源调度层负责将训练任务映射到合适的GPU集合；应用框架层则实现具体的并行训练策略。每一层的设计决策都会影响最终训练效率，这也是本课程后续章节的展开逻辑。
1.5 常见误区与学习建议
误区二：只关注GPU型号，忽略网络与存储。一个常见的案例：某团队采购了最新H800 GPU，却仍使用25Gbps以太网，导致NCCL AllReduce耗时是计算耗时的5倍，整体训练速度甚至不如使用A100+200Gbps IB网络的集群。
误区三：将集群运维等同于服务器运维。AI集群的故障模式具有“木桶效应”——单台GPU的NVLink降速、某根光纤的误码率升高，都会导致整个训练任务中断或回滚。需要建立集群级监控而非单机监控。
学习建议：本课程每章都会提供架构图、配置示例与故障案例。建议你在学习过程中，对照自己所在环境（或云上租赁环境）的GPU服务器，运行 nvidia-smi topo -m 查看实际拓扑，使用 nccl-tests 测量通信带宽，将理论知识与实测数据结合，才能真正建立对AI算力集群的直觉判断力。