1. 课程导入
1.1 能效比的核心定义：从“算得快”到“算得省”
在GPU集群运维与架构设计中，传统性能指标（如FLOPS、吞吐量）只回答“算得多快”，而能效比（Energy Efficiency）回答的是“每消耗一度电，能完成多少有效计算”。业界通常用以下公式度量：
能效比 = 有效计算产出（FLOPs / 样本数 / Token数） / 总能耗（kWh）其中总能耗不仅包含GPU芯片功耗，还涵盖显存、CPU、内存、网络交换、制冷与供电损耗（PUE折算）。更细化的指标包括：
- 每瓦特FLOPS：衡量GPU计算单元本身的能效；
- 每焦耳样本数：面向AI训练/推理任务的实际产出；
- PUE（电源使用效率）：数据中心总能耗与IT设备能耗之比，反映散热与供电开销；
- 碳强度系数：结合电网实时碳排放因子，衡量单位计算的环境代价。
易混淆点：能效比 ≠ 低功耗。低功耗可能意味着任务运行时间拉长，反而导致总能耗上升。能效比追求的是“在合理时间内，用最少的能量完成既定计算目标”。
1.2 优化目标：三层视角下的能效提升
能效优化不是单一维度的调参，而是需要从芯片层、系统层、任务层三个视角协同推进。下表展示了各层级的核心目标与典型手段：
| 层级 | 核心目标 | 典型优化手段 | 衡量指标 |
|---|---|---|---|
| 芯片/节点层 | 提升每瓦特计算密度 | 动态电压频率调整（DVFS）、内核/显存频率调优、SM分区控制 | W/FLOPS、W/GB/s |
| 系统/集群层 | 降低基础设施损耗 | 液冷散热、PUE优化、功耗封顶（Power Capping）、智能调度 | PUE、集群总能耗 |
| 任务/算法层 | 减少无效计算与数据搬运 | 混合精度训练、梯度压缩、算子融合、负载均衡 | J/样本、J/Token |
本课程的核心优化目标可归纳为：在保持训练收敛速度和推理延迟SLA的前提下，将单位有效计算能耗降低30%～50%。这需要同时关注峰值功耗与累计能耗——峰值功耗决定了供电与散热基础设施的规格，累计能耗则直接影响电费账单与碳排放。
1.3 课程框架与学习路径
本课程共30章，按“度量→定位→调优→治理”四阶段递进设计，帮助学员建立从单卡到千卡集群的完整能效优化方法论。
上图展示了本课程的四阶段学习路径。各阶段重点如下：
- 阶段一（第1-6章）：建立能效度量体系，掌握DCGM、Prometheus等监控工具，学会计算能效基线与设定合理目标；
- 阶段二（第7-13章）：深入GPU硬件架构与CUDA执行模型，定位SM占用率、显存带宽、PCIe/NVLink通信等能耗热点；
- 阶段三（第14-24章）：系统学习DVFS调优、功耗封顶、混合精度训练、梯度压缩、算子融合、智能散热等软硬件协同技术；
- 阶段四（第25-30章）：上升到集群治理层面，涵盖能效SLA管理、碳感知调度、多租户配额、自动化运维闭环。
1.4 常见误区与学习建议
典型误区：不少团队一上来就调整GPU频率或开启功耗封顶，结果发现训练速度下降20%以上，总能耗反而上升。原因在于没有先建立能效基线，也没有分析瓶颈究竟在计算单元、显存带宽还是通信链路上。盲目调参往往事倍功半。
本课程强调“先度量、再定位、后调优、终治理”的纪律性方法。每一章都会提供可操作的命令行工具、Python脚本或Kubernetes配置示例，帮助学员在真实环境中验证效果。建议学习时准备一台NVIDIA GPU服务器（至少1张A100/H100或V100），并按照章节顺序逐步实践。
学习路径建议：
- 前6周：完成阶段一与阶段二，掌握能效监控与瓶颈定位方法；
- 中间8周：深入阶段三，每章至少完成1个实验，记录调优前后的能效数据对比；
- 最后4周：进入阶段四，结合Kubernetes与Slurm集群，设计并实施一套能效治理方案。
通过本课程的学习，学员将能够独立构建一套完整的GPU集群能效优化体系，在保障性能的同时显著降低能源成本与碳排放，为企业的可持续计算战略提供坚实的技术支撑。