1. 课程导论：集群升级的挑战与资源预测的重要性，Prometheus在可观测性中的角色
1.1 集群升级：高可用架构中的“高危操作”
在 Kubernetes 生产环境中，集群升级（Cluster Upgrade）是保障版本演进、安全补丁与功能迭代的必经之路。然而，每一次升级都伴随着不可忽视的风险：控制平面组件重启、API Server 版本变更、kubelet 与节点状态波动、工作负载重新调度等。这些操作在资源紧张的集群中极易触发级联故障。
以下是集群升级过程中最常见的四类挑战：
| 挑战类别 | 典型表现 | 潜在后果 |
|---|---|---|
| 资源争抢 | 升级期间节点排水（Drain）导致 Pod 大规模迁移，目标节点 CPU/内存瞬时飙升 | Pod 启动失败、OOMKill、节点 NotReady |
| 控制面抖动 | etcd 领导者选举、API Server 重启导致请求超时或连接重置 | 控制器循环中断、HPA/VPA 决策延迟 |
| 容量盲区 | 升级窗口内缺乏对剩余资源池的实时感知，盲目执行节点滚动 | 集群整体资源利用率超过安全阈值，触发级联驱逐 |
| 回滚困难 | 升级中途发现资源不足，但已无法快速回退到稳定版本 | 长时间故障窗口，SLA 受损 |
核心观点： 升级窗口的资源预测不是“锦上添花”，而是防止集群在升级过程中进入不可恢复状态的最后一道防线。
1.2 为什么需要资源预测？——从“被动响应”到“主动规划”
传统运维模式中，团队往往在升级前手动检查节点资源水位，或依赖经验公式估算“大概够用”。这种方式的缺陷在于：
- 静态估算无法捕捉动态负载： 业务流量存在昼夜、周末、促销等周期性波动，静态阈值无法适配。
- 忽略 Pod 调度约束： 节点亲和性、反亲和性、拓扑分布约束会显著影响迁移后的资源分布。
- 缺乏时序视角： 只看当前时刻的剩余资源，无法预判升级过程中资源消耗的演变趋势。
资源预测的核心价值在于：
- 量化安全窗口： 基于历史指标预测未来 N 小时内的资源余量，确定“可安全升级的节点数上限”。
- 动态调整节奏： 根据实时指标反馈，自动放慢或暂停升级流程，避免触发阈值。
- 降低回滚概率： 预测结果可作为升级前的准入检查项，不满足条件则阻止升级操作。
实践提示： 资源预测不是追求“精确”，而是提供“概率化的安全边界”。在 SRE 实践中，我们通常使用 P95/P99 预测值作为保守上限，预留 20% 的缓冲余量。
1.3 Prometheus 在可观测性中的角色：从指标采集到预测引擎
Prometheus 是 Kubernetes 生态中事实标准的指标监控与告警系统。在集群升级资源预测场景中，Prometheus 承担了三个关键角色：
| 角色 | 职责 | 关键组件/机制 |
|---|---|---|
| 数据采集层 | 从 kube-state-metrics、cAdvisor、kubelet、Node Exporter 等来源拉取集群资源指标 | Prometheus Server、ServiceMonitor、PodMonitor |
| 时序存储与查询 | 以高精度时间序列存储 CPU、内存、网络、磁盘等指标，支持 PromQL 灵活聚合 | TSDB、PromQL、Recording Rules |
| 预测计算底座 | 提供预测函数（如 predict_linear）和自定义指标聚合能力，支撑预测模型运行 |
PromQL 预测函数、Alertmanager、自定义 Exporter |
以下示意图展示了 Prometheus 在集群升级资源预测架构中的核心位置：
1.4 预测方法的技术选型对比
基于 Prometheus 指标进行资源预测，业界主要有三种技术路线。本课程将重点讲解第一种，并对比其余两种的适用场景：
| 方法 | 核心原理 | 优势 | 局限 | 适用场景 |
|---|---|---|---|---|
| PromQL 预测函数 | 使用 predict_linear 基于线性回归外推未来值 |
零依赖、查询时实时计算、配置简单 | 仅支持线性趋势，对突发/周期性模式不敏感 | 短期预测（1-2小时）、资源趋势平稳的集群 |
| 时间序列预测模型 | 基于 ARIMA、Prophet 等模型离线训练后部署 | 支持周期性、节假日效应、非线性趋势 | 需要历史数据训练、模型维护成本高 | 长期预测（天/周）、业务负载模式复杂的集群 |
| 机器学习回归模型 | 使用 XGBoost、LSTM 等模型融合多维特征 | 精度最高，可融合节点数、Pod 数、QPS 等多维特征 | 特征工程复杂、推理延迟高、可解释性差 | 大规模集群、对预测精度要求极高的场景 |
选型建议： 对于大多数生产集群，PromQL 预测函数 + 自定义 Recording Rules 的组合足以覆盖升级窗口的资源预测需求。本课程将以此为主线，在后续章节中逐步深入预测规则设计、阈值调优与自动化集成。
1.5 本章小结
集群升级的资源预测是 SRE 从“被动救火”转向“主动防御”的关键能力。Prometheus 作为可观测性数据底座，不仅提供了实时指标采集与查询能力，更通过其内置预测函数和灵活的 PromQL 语法，为升级窗口的资源安全评估提供了低成本、高可用的技术路径。在接下来的课程中，我们将从指标设计、预测规则编写、阈值校准到自动化集成，完整构建一套基于 Prometheus 指标的集群升级窗口资源预测体系。