1. 课程导入与全景认知

在数据中心里,Intel Xeon 服务器承担着大量核心业务负载。运维团队最常遇到的两类问题,一是“业务变慢了,但不知道慢在哪一层”,二是“资源快用满了,但不知道还能撑多久”。前者属于监控告警要解决的问题,后者属于容量运营要解决的问题。本课程的目标,就是把这两件事从“凭经验拍脑袋”变成“有指标、有阈值、有闭环”的工程化能力。

先明确边界。本课程讨论的对象是搭载 Intel Xeon 可扩展处理器的物理服务器及其关键子系统:CPU 核心与缓存、内存与 NUMA 拓扑、PCIe 设备与互联链路、以及承载它们的固件与操作系统层。我们不深入应用代码调优,也不讨论网络交换机和存储阵列的内部机制,但会关注它们与 Xeon 平台交互时暴露出的指标。换句话说,监控告警关注“现在是否异常”,容量运营关注“未来是否够用”,两者共用同一套底层指标,只是时间尺度和判断逻辑不同。

要读懂后续所有章节,必须先掌握一组核心术语。它们不是名词解释,而是后续所有指标和阈值的“坐标系”。

  • RAS(Reliability, Availability, Serviceability):可靠性、可用性、可服务性。Xeon 平台通过 ECC 内存、机器检查异常(MCA)、PCIe 高级错误报告(AER)等机制实现 RAS,监控中对应的是可纠正错误(CE)与不可纠正错误(UCE)的计数与告警。
  • PMU(Performance Monitoring Unit):性能监控单元。它是 CPU 内部的一组硬件计数器,可统计指令数、周期数、缓存命中、内存访问等事件,是 IPC、缓存命中率等指标的原始来源。
  • TDP(Thermal Design Power):热设计功耗,是散热设计参考值,不是实际功耗上限。容量运营中要区分 TDP 与真实功耗,避免按 TDP 估算机柜电力。
  • IPC(Instructions Per Cycle):每周期指令数,衡量 CPU 执行效率。IPC 下降往往意味着缓存未命中、内存带宽瓶颈或频率受限。
  • NUMA(Non-Uniform Memory Access):非统一内存访问。每个 CPU 插槽有本地内存,跨插槽访问延迟更高。NUMA 不均衡会直接表现为部分核心等待内存。
  • LLC(Last Level Cache):最后一级缓存,通常指 L3。LLC 命中率下降会推高内存带宽需求。
  • 内存带宽:单位时间内内存子系统可传输的数据量,是内存密集型业务的硬约束。
  • PCIe 通道:CPU 与网卡、NVMe、GPU 之间的高速通道,通道数不足或降速会限制 I/O 吞吐。
  • QPI/UPI:Intel 的插槽间互联链路。UPI 是较新的名称,带宽和延迟直接影响跨 NUMA 访问性能。

这些术语之间的关系,可以用一张全景图来理解。下图展示了从硬件资源到监控指标、再到告警与容量决策的闭环结构,也是本课程后续章节的骨架。

Intel Xeon 监控告警与容量运营全景闭环 硬件资源层(被观测对象) CPU 核心 / 频率 IPC · TDP · 温度 内存 / NUMA 带宽 · 延迟 · ECC LLC / 缓存 命中率 · 未命中 PCIe / UPI 通道 · 链路速率 RAS 错误源 CE / UCE · AER · MCA 指标采集层(PMU / 传感器 / 固件接口) PMU 硬件计数器 指令 / 周期 / 缓存事件 MSR / 传感器 温度 / 功耗 / 频率 EDAC / RAS 接口 内存错误 / PCIe AER OS / 虚拟化层 NUMA 分布 / 调度 监控告警(实时判断) · 阈值告警:温度 / 功耗 / 错误计数 · 趋势告警:IPC 下降 / 带宽爬升 · 关联告警:NUMA 不均衡 + LLC 未命中 · 输出:告警事件、根因线索、影响范围 容量运营(中长期判断) · 容量基线:CPU / 内存 / PCIe 水位 · 增长预测:按业务趋势外推 · 扩容决策:加内存 / 换平台 / 调调度 · 输出:容量报告、扩容窗口、风险等级 共享指标 闭环:告警与容量结论反哺采集策略、阈值调优与资源规划 核心术语:RAS · PMU · TDP · IPC · NUMA · LLC · 内存带宽 · PCIe 通道 · QPI/UPI

这张图的关键在于“闭环”二字。硬件资源层产生原始信号,采集层把信号变成可读指标,监控告警做实时判断,容量运营做中长期判断,两者共享同一套指标,最后结论又反过来影响采集策略和阈值设置。如果只做告警不做容量,就会一直救火;只做容量不做告警,就会错过突发异常。

接下来看一个具体的判断示例,帮助理解指标如何联动。假设某台双路 Xeon 服务器运行内存密集型业务,运维观察到以下现象(以下为教学示例数据,非实测):

观察项正常参考当前值可能含义
CPU 利用率60%~75%68%表面正常
IPC1.8~2.21.1执行效率下降
LLC 命中率>85%62%缓存未命中增多
内存带宽<70% 峰值91% 峰值接近带宽瓶颈
NUMA 本地命中>90%73%跨 NUMA 访问偏多

单看 CPU 利用率,68% 并不高,不会触发告警。但把 IPC、LLC 命中率、内存带宽和 NUMA 本地命中放在一起,就能判断出:CPU 并不是“忙”,而是在“等内存”。这就是监控告警中“关联判断”的价值——不要只看单指标阈值,要看指标之间的因果关系。容量运营则进一步问:如果内存带宽已经到 91%,业务再增长 20%,这台机器还能撑多久?答案很可能是撑不住,需要提前规划扩容或调整 NUMA 绑定策略。

判断方向约定:本课程中“利用率”“带宽占用”“错误计数”均为越高越需关注;“IPC”“LLC 命中率”“NUMA 本地命中率”均为越高越好。后续章节如无特别说明,均沿用此约定。

最后给出本课程贯穿始终的运营闭环,它不是流程图,而是一个可执行的工作顺序:

  1. 建立基线:在业务稳定期采集 CPU、内存、PCIe、RAS 的常态指标,形成每类业务的参考区间。
  2. 设置阈值:区分警告阈值和严重阈值,警告用于提前介入,严重用于触发告警和工单。
  3. 关联分析:当告警触发时,同时查看 IPC、LLC、NUMA、带宽等关联指标,定位是计算瓶颈、内存瓶颈还是 I/O 瓶颈。
  4. 容量评估:按周或按月统计资源水位和增长斜率,判断剩余可用时间。
  5. 执行与复盘:扩容、调优或调整调度后,重新采集指标,验证问题是否缓解,并把结论写回基线和阈值。