📚 课程目录第2章 GPU基础与功耗特性

2. GPU基础与功耗特性

核心原理：GPU为何“重功耗”而CPU“重延迟”

要理解GPU的功耗特性，首先需要回到它的设计原点。GPU（图形处理器）本质上是为大规模并行计算而生的芯片，它的设计哲学是“用海量简单计算单元换取吞吐量”。以NVIDIA A100为例，它拥有108个流式多处理器（SM），每个SM包含64个FP32 CUDA核心，总计6912个CUDA核心。相比之下，一颗高端CPU（如AMD EPYC 7763）仅有64个核心。这种数量级的差异决定了GPU必须把大量晶体管投入到计算单元而非控制逻辑中。

从功耗角度看，GPU的功耗主要由三部分构成：动态功耗（P_dynamic = α·C·V²·f）、漏电功耗（P_leakage）以及互连与I/O功耗。其中动态功耗占据主导地位，因为GPU在满载时几乎所有的计算单元都在翻转，活动因子α远高于CPU。而漏电功耗则与制程工艺和温度强相关——当芯片温度从70°C升至90°C时，漏电功耗可能增加30%以上，这也是为什么GPU散热设计必须将结温控制在合理范围。

关键认知：GPU的功耗密度（单位面积功耗）通常为CPU的1.5～2倍。A100的芯片面积约826mm²，热设计功耗（TDP）为400W，功耗密度约0.48W/mm²；而Intel Xeon Platinum 8380面积约477mm²，TDP为270W，功耗密度约0.57W/mm²。虽然绝对数值相近，但GPU的热点分布更集中——SM区域与HBM显存控制器区域的局部功耗密度可超过1.2W/mm²，这对散热器的均热能力提出了更高要求。

功耗模型：从芯片级到系统级

GPU功耗管理是一个分层模型，从最底层的晶体管到整个服务器机架，每一层都有不同的时间常数和控制策略。理解这个层级关系，是进行散热规划的前提。

层级	时间尺度	主要功耗来源	散热对应手段
晶体管级	纳秒～微秒	逻辑翻转、漏电	芯片热传导（硅→封装）
SM/核心级	微秒～毫秒	CUDA核心运算、寄存器堆	封装内均热（TIM/热界面材料）
芯片级	毫秒～秒	SM阵列 + 缓存 + 存储控制器	散热器底座均热板
板卡级	秒～分钟	GPU + HBM + VRM（电压调节模块）	风冷/液冷冷板
系统级	分钟～小时	多GPU + CPU + 交换芯片	机房空调/CDU（冷量分配单元）

在实际规划中，最需要关注的是芯片级到板卡级的功耗传递效率。GPU芯片产生的热量首先通过封装基板传递到散热器，再由冷却介质带走。A100的封装热阻（θ_jc）约为0.1°C/W，这意味着在400W功耗下，芯片结温与散热器底座之间会有约40°C的温差。如果散热器底座温度为60°C，那么芯片结温已经达到100°C——这已经接近A100的额定上限（110°C）。

典型功耗参数与实测解读

在GPU集群的散热规划中，以下功耗参数是必须掌握的“硬指标”：

TDP（热设计功耗）：A100为400W，H100 SXM为700W，这是散热系统设计的基准值。
最大瞬时功耗（Peak Power）：通常为TDP的1.2～1.3倍。H100在启动大规模矩阵运算时，瞬时功耗可达到900W，持续约2～5ms。
空闲功耗（Idle Power）：A100空闲时约30W，H100约80W（因HBM显存常开）。这决定了低负载时的散热策略。
功耗墙（Power Cap）：可通过nvidia-smi设置，例如将A100限制在300W，但性能会下降约15%～20%。
温度墙（Thermal Limit）：GPU的降频起始温度通常为83°C（A100），达到93°C时强制降频，105°C时触发关机保护。

# 查看GPU实时功耗与温度（Linux环境）
nvidia-smi --query-gpu=index,name,power.draw,temperature.gpu,utilization.gpu \
           --format=csv,noheader,nounits

# 输出示例
# 0, NVIDIA A100-SXM4-40GB, 385.4, 72, 98
# 1, NVIDIA A100-SXM4-40GB, 210.2, 58, 45
# 2, NVIDIA A100-SXM4-40GB, 402.1, 84, 100   ← 注意：此卡已接近温度墙

# 设置功耗上限（需要root权限）
nvidia-smi -i 2 -pl 350   # 将GPU 2的功耗限制为350W

实操建议：在集群部署前，务必使用nvidia-smi dmon或dcgmi（DCGM工具）记录GPU在典型负载下的功耗曲线。重点关注功耗波动幅度——如果GPU功耗在100W到400W之间剧烈波动（周期小于1秒），说明散热系统需要具备良好的瞬态响应能力，否则会导致温度振荡，加速风扇轴承磨损。

案例：8卡A100服务器的功耗实测与散热规划

某AI训练集群采用8卡A100 SXM4服务器，每卡TDP 400W。整机理论最大功耗为：8×400W（GPU）+ 2×280W（CPU）+ 其他部件约200W = 3,960W。然而实测发现，在混合负载（训练+推理）下，GPU平均功耗仅为TDP的65%～75%，整机功耗稳定在2,800～3,200W之间。

但需要注意两个关键场景：

训练任务启动瞬间：8张卡同时加载模型权重并开始前向传播，瞬时总功耗可达到4,200W，持续约3～5秒。如果机架PDU（电源分配单元）的额定功率仅为3,500W，就会触发过载保护。
故障转移场景：当某张卡故障被隔离后，剩余7张卡会自动增加batch size以维持训练吞吐，导致单卡功耗从350W升至接近400W，整机功耗反而上升。

因此，散热规划不能只按平均功耗设计，而应参考“峰值功耗 + 15%安全余量”的原则。对于上述8卡服务器，散热系统应至少支持4,200W的散热能力（对应约14,300 BTU/hr），并预留20%的冷量余量以应对极端情况。

误区与复盘：功耗规划中的常见陷阱

误区一：只看TDP而忽略瞬时功耗。某数据中心采购了100台8卡A100服务器，按每台3,500W设计供电和散热。结果在训练任务并发启动时，机房总配电柜频繁跳闸。复盘发现，100台服务器同时启动训练任务时，瞬时总功耗达到420kW，而配电设计仅支持350kW。解决方案是在调度系统中加入“功耗感知启动”——将100台服务器分为4组，每组间隔30秒启动，峰值功耗降至380kW以内。

误区二：将GPU温度等同于散热效果。工程师发现某GPU温度仅为65°C，认为散热良好，但实际该GPU的功耗已被限制在250W（原400W）。原因是散热器翅片被灰尘堵塞，风扇转速已升至100%仍无法有效散热，GPU通过降频来保护自身。此时温度“正常”恰恰说明功耗墙已生效。正确做法是同时监控功耗、温度和风扇转速三个指标——如果功耗低于预期而温度不高，应检查是否触发了功耗限制。

复盘总结：GPU功耗规划的核心不是“算最大功耗”，而是理解功耗的时间分布特征。训练任务呈现“启动尖峰 + 稳态波动”的模式，推理任务则呈现“高频小幅波动”的模式。散热系统设计应分别针对这两种模式优化——前者需要足够的冷量冗余，后者需要快速响应的风扇控制算法。