2. AMD EPYC处理器架构与高可用特性解析
要设计一套真正可用的高可用业务平台，不能只把EPYC当成“核数更多的CPU”来对待。EPYC的Zen架构演进、CCD/CCX与IOD的布局、缓存层级、内存通道数量、PCIe通道拓扑，以及RAS（Reliability, Availability, Serviceability）能力，共同决定了平台在故障域划分、内存带宽、I/O吞吐和故障恢复上的上限。本节围绕这些结构逐层展开，并说明它们如何直接影响可用性设计。
Zen架构演进：从NUMA边界到统一I/O Die
EPYC的架构演进可以按“核心组织方式”和“I/O与内存接入方式”两条线理解。第一代Zen（Naples）采用4个Zeppelin Die通过Infinity Fabric互连，每个Die自带内存控制器与I/O，形成4个NUMA节点，跨Die访问延迟明显。Zen 2（Rome）改为“CCD + IOD”分离：最多8个CCD（每个含2个CCX、共8核）围绕一个中央I/O Die，内存控制器和PCIe控制器集中到IOD，NUMA域收敛为每路最多4个（NPS4）或更少。Zen 3（Milan）把CCX从4核扩展到8核，8个核心共享32MB L3，跨核通信延迟下降，NPS1下性能一致性更好。Zen 4（Genoa）升级到5nm CCD、支持DDR5与PCIe 5.0，单核L2增至1MB，并引入AVX-512；Zen 4c（Bergamo）以更高密度面向云原生。Zen 5（Turin）进一步细分通用核与密度核，并强化AI与内存带宽能力。
对高可用设计而言，关键结论是：NUMA域越细，单域故障影响面越小，但跨域访问延迟越高。因此数据库类低延迟业务倾向NPS1或NPS2，而需要故障隔离的大内存虚拟化场景可考虑NPS4。
核心与缓存设计：CCX、L3与延迟一致性
每个CCD内部由CCX组成，Zen 3及以后一个CCX含8个核心，共享一块32MB L3缓存。核心访问本CCX的L3延迟最低；跨CCD访问需经IOD转发，延迟显著上升。L1为32KB指令+32KB数据，L2每核1MB（Zen 4起）。缓存的意义不只是提速：L3是CCX内的共享资源，若某核心出现缓存错误，RAS机制可对L3行进行ECC保护与缓存行禁用，避免错误扩散到整个CCX。
在虚拟化平台中，应尽量让同一虚拟机的vCPU落在同一CCX或同一NUMA域内，减少跨域缓存同步开销。可通过lscpu、numactl --hardware或lstopo确认拓扑，再用CPU绑定或NUMA亲和策略约束调度。
内存通道与PCIe通道：带宽与故障域
EPYC 9004（Genoa）每路提供12个DDR5通道，支持2DPC，但2DPC时频率会下降；EPYC 9005（Turin）延续12通道DDR5并提升带宽。内存通道数与NUMA域共同决定可用带宽：NPS1时所有通道聚合为一个域，带宽最高但故障影响面最大；NPS4时每域3通道，隔离性更好。PCIe方面，Genoa提供128条PCIe 5.0通道（部分用于Socket间互连），可拆分为x16/x8/x4等宽度，用于GPU、NVMe和网卡。通道拆分（Bifurcation）必须在BIOS中与物理插槽实际拆分一致，否则设备无法枚举。
RAS特性与可用性影响
EPYC的RAS能力覆盖内存、缓存、PCIe和CPU核心：DDR5支持片上ECC与Side-band ECC，可纠正单比特错误并上报；内存镜像（Mirroring）和内存备用（Spare）可在通道或Rank级故障时切换；PCIe AER可报告并隔离可纠正/不可纠正错误；机器检查架构（MCA）配合OS的mcelog/rasdaemon记录错误。此外，AMD的PPR（Post Package Repair）可在启动时对故障内存行进行修复。
下面这张图把“架构对象—可用性机制—影响结果”串成一条信号链，便于对照理解各层RAS如何作用于业务连续性。
把架构特性落到高可用设计上
结合上述结构，实际平台设计可按以下思路落地。第一，先确认业务对延迟与隔离的敏感度，再选NUMA模式：延迟敏感选NPS1/NPS2，隔离优先选NPS4。第二，内存必须按通道均衡插满，并开启ECC；对关键节点可启用内存镜像，但需接受容量减半的代价。第三，PCIe拆分要与BIOS和物理插槽一致，NVMe与网卡尽量分散到不同IOD侧通道，避免单侧拥塞。第四，部署rasdaemon持续采集CE/UE事件，把“可纠正错误增长速率”作为更换内存的预警指标，而不是等到不可纠正错误导致宕机。
下面给出一个可直接参考的RAS检查与判断清单，用于上线前和日常巡检。
| 检查项 | 命令/位置 | 判断依据 |
|---|---|---|
| NUMA拓扑与域数 | numactl --hardware | 域数与业务隔离目标一致 |
| 内存通道均衡 | dmidecode -t memory | 各通道均有DIMM，无空槽偏斜 |
| ECC与镜像状态 | BIOS / rasdaemon | ECC开启，镜像按需启用 |
| PCIe链路宽度 | lspci -vv | LnkSta与插槽拆分一致 |
| CE/UE错误计数 | ras-mc-ctl --errors | CE增长速率低，UE为0 |
| 缓存错误记录 | rasdaemon日志 | 无持续L3行禁用 |
理解EPYC的架构分层与RAS作用点后，高可用设计就不再是“堆冗余”，而是围绕故障域、延迟和可观测性做有依据的取舍：把最敏感的业务放在延迟最低的域，把最关键的资源放在可纠正、可切换的保护机制下，并用持续的错误计数把隐患提前暴露出来。