散热异常类型：过热、温度不均、风扇故障、液冷泄漏等

高密度GPU节点的散热系统设计目标，是在额定功耗（TDP）与峰值负载下将芯片结温（Tj）控制在规格范围内。然而，实际运行中散热异常并非单一模式，而是表现为多种可观测的故障形态。理解这些异常类型的物理本质、典型特征与排查入口，是后续根因定位的基础。本章将散热异常归纳为四大类：过热（Overheating）、温度不均（Thermal Imbalance）、风扇故障（Fan Failure）与液冷泄漏（Liquid Leakage），并分别阐述其成因、判据与初步定位方法。

4.1 过热：全局性温升与局部热点

过热是指GPU芯片、显存（HBM）、VRM（电压调节模块）或板卡其他关键器件的温度超过规格上限，触发降频（Throttling）或关机保护。从物理层面看，过热的本质是散热路径上的热阻增大或热容量不足，导致热量无法及时从热源传导至冷却介质。

过热可分为两类：

全局性过热：所有GPU或同一GPU上多个传感器温度同步偏高。常见原因包括：机房空调失效、机柜气流组织不良（冷热通道混风）、散热器表面灰尘堵塞、导热硅脂老化干裂。
局部热点：单个GPU或单个传感器温度显著高于同板其他位置。常见原因包括：热管失效、均热板（Vapor Chamber）内部工质泄漏、导热垫（Thermal Pad）厚度不均或偏移、芯片与散热器接触压力不足。

判读过热时，不能仅看绝对温度值，还需结合温升速率与负载相关性。例如，空载时温度正常，满载后3秒内温度飙升20°C以上，通常指向热界面材料（TIM）失效或散热器安装不良；而温度随负载缓慢爬升且无法回落，则更可能是风道堵塞或冷却液流量不足。

判据参考：NVIDIA A100/H100 GPU 的 Tj 规格上限通常为 105°C，但建议在 85°C 以下运行以保障寿命。当 Tj 超过 95°C 且持续 10 分钟以上，应视为过热异常并启动排查流程。

4.2 温度不均：板级与节点级温差

温度不均是指同一节点内不同GPU之间、或同一GPU不同传感器之间的温度差异超过正常范围。正常工况下，同一节点内GPU温差应小于5°C；若超过10°C，则存在散热不均问题。

温度不均的典型成因包括：

气流分配不均：前部GPU占据大部分冷风，后部GPU（尤其是靠近电源或硬盘位的GPU）风量不足。
散热器性能差异：同一批次散热器因制造公差导致热阻不一致，或部分散热器鳍片倒伏、变形。
安装压力不均：螺丝拧紧力矩不一致，导致芯片与散热器接触压力分布不均，局部热阻偏高。
风扇转速差异：同一节点内不同风扇因老化或控制策略差异，转速不一致，导致风量分配失衡。

温度不均的排查价值在于：它往往比全局过热更早暴露散热系统的结构性缺陷。例如，某节点第4块GPU温度始终比第1块高8°C，即使绝对温度未超限，也提示风道设计或风扇配置存在问题，需要提前干预。

4.3 风扇故障：转速异常与失效模式

风扇是风冷散热系统的核心执行部件。风扇故障并非只有“停转”一种模式，而是包含多种可观测的异常状态：

故障模式	典型特征	可能原因
转速为0（停转）	IPMI/传感器上报RPM=0，温度快速上升	电机烧毁、供电断路、控制信号丢失
转速偏低	RPM低于设定值30%以上，温度偏高	轴承磨损、润滑油干涸、PWM占空比受限
转速波动	RPM在±20%范围内周期性波动	轴承游隙过大、叶片动平衡失效
异响/振动	噪声增大，机箱振动加剧	叶片碰擦、轴承碎裂、异物卡滞

风扇故障的定位需要结合转速传感器读数与温度响应双重验证。例如，某风扇上报RPM=3000（正常），但对应GPU温度持续上升，此时应怀疑转速传感器本身故障，或风扇实际风量因叶片损坏而远低于标称值。排查时可通过ipmitool sensor或nvidia-smi -q -d TEMPERATURE交叉验证。

# 查看风扇转速与温度关联
ipmitool sdr list | grep -i fan
ipmitool sdr list | grep -i temp
nvidia-smi --query-gpu=index,temperature.gpu,fan.speed --format=csv

4.4 液冷泄漏：隐蔽性与灾难性并存

液冷系统（冷板式或浸没式）在高密度节点中应用日益广泛，但泄漏是液冷最危险的故障模式。液冷泄漏的难点在于隐蔽性：初期微量泄漏可能仅表现为冷却液液位缓慢下降，或节点局部湿度升高，而温度异常往往在泄漏量较大时才显现。

液冷泄漏的典型场景包括：

接头密封失效：快接头（Quick Disconnect）O型圈老化、插拔次数超限，导致微量渗漏。
软管破裂：软管弯折半径过小、长期振动摩擦导致管壁磨损，或材质老化脆化。
冷板内部腐蚀：冷却液电导率超标或pH值失衡，导致冷板内部电化学腐蚀，形成针孔泄漏。
泄漏检测线误报：检测线缆受潮或绝缘下降，触发虚假泄漏告警，干扰真实故障判断。

液冷泄漏的排查必须依赖多维度信号融合：

液位监测：储液罐液位传感器持续下降，排除正常蒸发后仍下降，则存在泄漏。
压力监测：系统静压异常下降，或泵出口与回口压差减小。
湿度传感器：节点内部湿度传感器读数异常升高（超过60%RH）。
温度异常：泄漏点附近GPU温度升高，但其他GPU正常，形成局部热点。
视觉/荧光检漏：使用紫外荧光剂配合检漏灯，定位微小泄漏点。

安全警示：液冷泄漏排查前必须断电并关闭冷却液循环泵。冷却液可能导电，接触带电部件会导致短路或电击。若泄漏液体已接触主板或GPU，应立即断电、断开所有电源连接，并联系专业维护人员处理，切勿在未确认安全前重新上电。

4.5 异常类型交叉与综合判读

实际运维中，散热异常往往不是单一类型，而是多类型叠加。例如：风扇转速偏低导致风量不足，进而引发GPU温度不均；温度不均又加速局部散热器老化，最终形成过热。因此，在定位根因时，不能孤立看待某一类异常，而应建立“温度-转速-流量-压力”四维观测矩阵。

以下是一个典型的综合排查案例：

  案例：某训练集群中，节点N-07的8块A100 GPU中，第5、6块GPU温度比其余高12°C，且第5块GPU温度在满载时达到98°C触发降频。初步检查发现：第5、6块GPU对应的风扇转速正常（RPM=8500），但节点后部出风温度明显偏低。进一步检查发现，该节点后部风道被数据线缆堵塞，导致冷风无法到达第5、6块GPU位置。清理线缆并重新理线后，温差恢复至3°C以内。

该案例说明：温度不均的根因并非风扇故障，而是气流路径受阻。若仅更换风扇或调整风扇转速策略，无法解决问题。因此，排查散热异常时，应遵循以下流程：

确认异常类型：通过温度传感器数据，判断是全局过热、局部热点还是温度不均。
检查执行部件：核对风扇转速、泵流量、冷媒温度等执行层数据。
检查物理路径：确认风道/液路是否畅通，散热器是否积灰，接头是否渗漏。
检查控制策略：确认风扇调速策略（PWM曲线）、液冷阀开度是否正常。
交叉验证：结合日志、告警、历史趋势，排除偶发因素。

4.6 常见误区与复盘要点

在散热异常定位中，以下误区容易导致排查方向偏离：

误区一：只看温度不看温升速率。温度绝对值受环境温度影响大，而温升速率更能反映散热路径的健康状态。
误区二：风扇转速正常即认为散热正常。风扇转速正常不代表风量正常，叶片磨损、风道堵塞都会导致风量下降。
误区三：忽略环境温度与湿度。机房空调失效或回风温度过高，会直接抬高所有节点的散热基线。
误区四：液冷系统只看温度不看液位。微量泄漏初期温度可能正常，但液位持续下降是重要预警信号。
误区五：更换部件后不做验证。更换散热器或风扇后，应进行满载压测，确认温度恢复至正常范围，并记录基线数据。

复盘散热异常时，建议建立“异常-根因-动作-验证”四段式记录。每次处理完散热异常后，将温度曲线、风扇转速、环境数据、更换部件信息归档，形成节点散热健康档案。长期积累后，可通过趋势分析提前识别潜在故障，实现从“被动响应”到“主动预防”的转变。

散热异常类型的准确识别，是根因定位的第一道门槛。过热、温度不均、风扇故障与液冷泄漏，分别对应散热路径中热源、传热介质、执行部件与冷却介质四个环节的失效。运维人员应熟练掌握各类异常的判据与排查入口，结合多维度传感器数据交叉验证，避免陷入“头痛医头”的被动局面。下一层级的定位，将聚焦于如何从传感器数据中提取有效特征，建立散热异常的量化诊断模型。