1. 课程导入与目标设定

在数据中心里,AMD EPYC 计算节点通常以 1U 或 2U 机箱、双路 CPU、12 条 DDR5 内存通道、若干 NVMe 与高速网卡的形态出现。它承担虚拟化、容器、数据库、AI 推理等持续高负载业务,机柜供电与制冷能力却是有限的。于是同一颗 CPU 在不同机房里可能表现出完全不同的性能:有的节点能长时间跑在 3.5 GHz 以上,有的节点一进入满载就掉到 2.4 GHz。造成差异的往往不是 CPU 本身,而是功耗与散热是否被正确理解和调优。本课程的目标,就是让读者能够看懂 EPYC 节点的功耗与温度行为,找到限制性能的那道“墙”,并用可复现的方法把它推开。

为什么功耗与散热是EPYC节点的核心工程问题

EPYC 采用 Chiplet 架构:多个 CCD(Core Complex Die,含 8 个 Zen 核心与共享 L3)通过 Infinity Fabric 与中央 IOD(I/O Die,含内存控制器、PCIe 与 Infinity Fabric 交换)互联。这种结构带来两个直接后果。第一,功耗来源分散:核心功耗、L3 功耗、IOD 功耗、内存与 SoC 功耗各自随负载变化,整颗 CPU 的功耗并不只由核心频率决定。第二,热量分布不均:CCD 面积小、功率密度高,是热点集中区;IOD 面积大但单位面积功耗较低。散热器若不能把 CCD 的热量快速带走,核心温度会先于封装平均温度触顶。

因此,功耗与散热不是“机房的事”,而是决定节点实际算力的工程变量。理解它们,才能回答三个实际问题:这颗 CPU 现在被什么限制?限制是否合理?如何在供电、制冷、性能之间取得最优平衡?

四个必须掌握的核心指标

TDP(Thermal Design Power,热设计功耗)是 AMD 给出的散热设计参考值,例如 EPYC 9004 系列中 9354 为 280 W、9654 为 360 W、9754 为 360 W。它描述的是“散热系统需要能持续带走的热量”,并不等于 CPU 实际功耗上限。实际功耗由 PPT(Package Power Tracking)控制,通常高于 TDP,例如 TDP 280 W 的型号 PPT 约为 336 W。

Tcase(外壳温度)是 CPU 顶盖(IHS)中心位置的温度,也是 AMD 规定的散热验证基准点。它与核心结温 Tj 不同:Tj 是硅片内部温度,通常高于 Tcase。EPYC 的 Tcase 上限一般在 85~95 ℃ 区间,具体以型号规格书为准。散热器选型时,必须保证在目标环境温度下 Tcase 不超限。

功耗墙(Power Wall)指 CPU 因达到 PPT 或 cTDP 设定值而主动降频。表现为:核心频率下降、有效算力降低,但温度可能并不高。此时瓶颈在供电与功耗策略,而非散热。

温度墙(Thermal Wall)指 CPU 因 Tj 或 Tcase 达到阈值而触发降频保护。表现为:温度贴近上限、频率被压低,功耗可能低于 PPT。此时瓶颈在散热能力或环境温度。

区分这两道墙是排障的第一步:功耗墙看“功率是否顶到 PPT”,温度墙看“温度是否顶到阈值”。两者可能同时出现,但处理方向完全不同。

AMD EPYC 计算节点功耗—散热—性能关系总览 以双路 EPYC 9004 节点为例:功耗来源、散热路径与两道限制墙 功耗来源(Package Power) CCD 核心功耗 8×Zen4 核心 + 32MB L3 IOD 功耗 内存控制器 / PCIe / IF 内存功耗 12×DDR5 RDIMM SoC / 辅助功耗 安全引擎 / 管理单元 PPT 功耗墙 示例:TDP 280W → PPT ≈ 336W 超过即触发降频 EPYC 封装内部热源分布 IHS 顶盖(Tcase 测量点) CCD0 8核 CCD1 8核 CCD2 8核 CCD3 8核 CCD4 8核 CCD5 8核 IOD(I/O Die) 内存控制器 · PCIe · Infinity Fabric 热点集中在 CCD 区域 Tj 结温 > Tcase 顶盖温度 温度墙 Tcase 上限示例 85~95 ℃ Tj 触顶即降频保护 散热路径与外部条件 ① 硅片 → IHS 顶盖 导热硅脂 / 焊料层 ② IHS → 散热器底座 接触压力 / 导热界面 ③ 散热器 → 空气 鳍片面积 / 风量 / 风压 ④ 机箱 → 机房 进风温度 / 风道 / 背压 关键环境参数 进风温度 25 ℃(示例) 海拔 / 灰尘 / 风扇转速 散热器热阻 θca 供电 热流 优化框架:先判断限制墙 → 再调功耗策略(PPT/cTDP)或散热条件(风量/风道/界面)→ 最后用频率与算力验证效果

整体优化框架:先判断,再动手

面对一个性能不达预期的 EPYC 节点,建议按以下顺序推进,避免盲目换散热器或改 BIOS。

  1. 采集基线数据。在目标负载下记录 CPU 封装功耗、Tcase、Tj、各核心有效频率、内存带宽。Linux 下可用 turbostat、ipmitool sensor、amd_pstate 相关接口;也可通过 BMC 读取整机功耗与进风温度。
  2. 判断限制墙。若封装功耗稳定贴近 PPT 而温度未到上限,属于功耗墙;若温度贴近 Tcase/Tj 上限而功耗低于 PPT,属于温度墙。
  3. 针对功耗墙。检查 BIOS 中 cTDP、PPT、TDC 设定是否被限制;确认供电模块与电源余量;评估是否值得提高功耗上限换取性能。
  4. 针对温度墙。检查散热器选型是否满足 TDP、导热界面是否老化、风道是否短路、进风温度是否超标、风扇曲线是否过于保守。
  5. 验证与固化。调整后重新采集同一负载下的频率与算力,确认提升可复现,并把有效配置写入基线文档。
判断限制墙时,建议同时观察“功耗是否顶到 PPT”和“温度是否顶到阈值”两个条件。只满足其中一个,方向就很明确;两个都满足,说明散热与功耗策略都需要调整。

本课程的学习路径