GPU工作原理与散热基础
2.1 GPU核心架构与功耗来源
GPU（图形处理器）最初为并行图形渲染设计，如今已成为通用高性能计算的核心。理解其工作原理，是分析高温降频问题的第一步。GPU芯片内部由数十亿个晶体管组成，主要划分为以下几个关键区域：
- 流式多处理器（SM / CU）：GPU的基本计算单元，内部包含大量CUDA核心（或流处理器）、共享内存、寄存器文件和调度器。每个SM可同时执行数百个线程，整颗GPU通常集成数十至上百个SM。
- 显存控制器与L2缓存：负责与显存（HBM2e/HBM3/GDDR6）进行数据交换。显存控制器频率高、驱动电流大，是功耗热点之一。
- PCIe/ NVLink接口与GPC（图形处理簇）：负责与主机或其他GPU通信，包含大量高速SerDes收发器，空闲时功耗较低，满载时不可忽视。
- 电源管理单元（PMU）与时钟发生器：负责电压调节、时钟分配和功耗监控，是降频策略的执行机构。
GPU的功耗主要由动态功耗和静态功耗两部分构成。动态功耗遵循公式：
P_dynamic = C × V² × f × α其中C为负载电容，V为核心电压，f为时钟频率，α为翻转率（活动因子）。这意味着频率提升会线性增加功耗，而电压提升则呈平方级增长。静态功耗则来自晶体管漏电流，随温度升高呈指数上升——这形成了“高温→漏电增加→发热更多”的正反馈循环。
2.2 温度阈值与降频机制
GPU厂商在芯片设计阶段即设定了多级温度保护阈值。以NVIDIA A100/H100为例，典型温度参数如下：
| 温度阈值 | 典型值 | 触发行为 |
|---|---|---|
| Tj_max（结温上限） | 105°C | 硬件强制降频保护 |
| Tj_throttle（降频起始） | 85~90°C | 开始逐步降低频率 |
| Tj_target（目标温度） | 75~80°C | 频率调节的目标平衡点 |
| Tj_alert（告警阈值） | 95°C | 记录日志，触发管理告警 |
降频机制的核心是闭环温度控制。GPU的PMU以毫秒级周期（通常1~10ms）读取板载温度传感器（热敏二极管或热敏电阻），通过PID控制算法计算目标频率。当温度超过Tj_throttle时，PMU会以固定步长（如每步15~30MHz）降低核心频率，同时相应降低核心电压，使功耗下降、温度回落。若温度继续上升逼近Tj_max，则触发更激进的降频策略，甚至直接关闭部分SM单元。
2.3 散热系统组成与热传递路径
GPU散热系统是一个从芯片到环境的多级热传递链，每一级都可能是性能瓶颈：
- 芯片级导热：GPU芯片（Die）通过焊料或导热硅脂与散热器底座接触。导热硅脂的老化、干裂或涂抹不均会导致接触热阻急剧增大，这是使用多年后GPU温度升高的常见原因。
- 热扩展与传导：均热板（VC）或热管将芯片局部热点热量迅速横向扩散并传导至远端鳍片。均热板内部工质泄漏或热管失效会导致局部过热。
- 对流散热：风扇驱动气流穿过散热鳍片，将热量带走。风扇转速下降、鳍片积灰堵塞、机箱风道不畅都会显著降低散热效率。
- 环境热交换：最终热量排入机房环境。机房空调故障、机柜气流组织不合理、相邻设备热排风回流，都会导致进风温度升高。
nvidia-smi -q -d TEMPERATURE 可查看GPU当前温度与温度阈值；nvidia-smi -q -d POWER 可查看当前功耗与功耗限制。对比“温度-功耗-频率”三者关系，可快速判断是散热问题还是供电问题。
2.4 典型故障场景复盘
场景描述：某AI训练集群中，一台8卡A100服务器在持续满载运行3个月后，其中3号GPU出现性能下降。用户反馈训练速度从原来的每轮120秒降至180秒。
排查过程：
# 查看GPU状态
nvidia-smi
# 输出显示：
# GPU 3: 温度 92°C, 功率 280W, 时钟 1245MHz (基础频率 1410MHz)
# 其他GPU: 温度 72~75°C, 功率 380~400W, 时钟 1395~1410MHz从输出可见，3号GPU温度明显偏高，且频率被限制在1245MHz（降频约12%），功耗也远低于其他GPU——这正是温度触发的降频保护。进一步检查发现：
- 该GPU对应的风扇转速已达100%（约13500 RPM），但温度仍无法下降；
- 检查散热鳍片，发现积灰严重，几乎堵塞了鳍片间隙；
- 导热硅脂已干裂，接触面存在明显空隙。
处理措施：断电后拆下散热器，清理鳍片积灰，重新涂抹高性能导热硅脂，并检查风扇轴承（发现轻微磨损，同步更换）。重新安装后，GPU温度降至68°C，频率恢复至1410MHz满载，训练速度恢复至每轮118秒。