1. 课程导论与工程全景
1.1 课程目标与核心价值
在云原生生产环境中，滚动升级（Rolling Update）是 Kubernetes 应用发布的标准模式。然而，当升级引入性能退化、错误率飙升或业务中断时，人工回滚往往滞后且容易出错。本课程旨在构建一套由 Prometheus 指标驱动、Kubernetes 原生集成、全自动回滚的工程化体系，将“发布-观测-决策-回滚”闭环完全自动化。
核心价值：
- 缩短 MTTR：从指标异常到自动回滚执行，控制在 30 秒以内。
- 消除人为误判：基于多维度 SLO 指标（延迟、错误率、饱和度）做量化决策。
- 无损发布：回滚过程保持服务可用性，不产生二次中断。
- 可观测性驱动：每次回滚事件自动生成事后分析报告，持续改进发布质量。
1.2 整体架构：Prometheus + Kubernetes + 自动化回滚引擎
本课程工程全景由三大核心组件构成，它们通过标准 API 和指标流紧密协作：
| 组件层 | 核心职责 | 关键技术 |
|---|---|---|
| 观测层 | 实时采集集群与应用指标，计算 SLO 合规状态 | Prometheus Server, PromQL, Recording Rules |
| 编排层 | 执行滚动升级、扩缩容、回滚等变更操作 | Kubernetes Deployment, StatefulSet, HPA |
| 决策层 | 监听指标异常，触发回滚决策并驱动执行 | Alertmanager, Webhook, 回滚引擎 Operator |
下图展示了三层的交互流程与数据流向：
架构要点：三层之间通过标准 HTTP/gRPC 接口通信，不依赖任何私有协议。观测层输出的 SLO 指标直接作为决策层的输入，编排层仅暴露 Kubernetes 原生 API，保证架构的可替换性和可扩展性。
1.3 自动化回滚引擎工作流程
回滚引擎的核心是一个有限状态机，它持续监听 Prometheus 告警并驱动回滚动作。以下是标准流程的 6 个步骤：
- 发布开始：Kubernetes 触发 Deployment 滚动升级，新 Pod 逐步替换旧 Pod。
- 指标采集：Prometheus 以 15 秒间隔采集新 Pod 的 RED 指标（Rate、Errors、Duration）。
- SLO 评估：Recording Rules 每分钟计算一次 SLO 合规率，若低于阈值则触发 Alertmanager 告警。
- 告警路由：Alertmanager 将告警发送至回滚引擎 Webhook 端点。
- 决策执行：回滚引擎验证告警有效性，调用 Kubernetes API 执行
rollout undo。 - 事件记录：回滚完成后，引擎将事件详情写入 Prometheus（自定义指标）和日志系统。
关键设计约束：回滚引擎必须支持 回滚熔断 机制——如果在短时间内连续回滚超过 N 次（默认 3 次），引擎应自动暂停回滚并升级为人工介入告警，防止回滚抖动导致服务持续不稳定。
1.4 适用场景与前置条件
本课程方案适用于以下典型场景：
| 场景 | 描述 | 收益 |
|---|---|---|
| 微服务滚动发布 | 每日多次更新数十个微服务，人工回滚无法跟上节奏 | 回滚延迟从分钟级降至秒级 |
| 金丝雀发布自动化 | 金丝雀阶段指标异常时自动终止并回滚 | 避免故障扩散到全量用户 |
| 夜间无人值守发布 | CI/CD 流水线在非工作时间自动触发升级 | 无需值班人员介入，自动止损 |
| 多集群统一回滚策略 | 跨区域、跨集群的发布需要一致的回滚行为 | 统一 SLO 阈值和回滚策略 |
前置条件：
- Kubernetes 集群版本 ≥ 1.21，已配置
Deployment或StatefulSet滚动升级策略。 - Prometheus 已部署并完成对集群节点、Pod 及应用自定义指标的采集配置。
- 应用已暴露标准的 HTTP 或 gRPC 监控端点，支持 RED 指标输出。
- 团队具备基本的 PromQL 编写能力和 Kubernetes RBAC 管理经验。
1.5 课程内容路线图
本课程共 30 章，分为 5 个阶段：
| 阶段 | 章节范围 | 核心产出 |
|---|---|---|
| 基础篇 | 第 1-6 章 | Prometheus 指标体系、Kubernetes 滚动升级原理、SLO 定义 |
| 监控篇 | 第 7-12 章 | RED 指标采集、Recording Rules、Alertmanager 告警路由 |
| 引擎篇 | 第 13-20 章 | 回滚引擎 Operator 开发、状态机、熔断与降级 |
| 集成篇 | 第 21-26 章 | CI/CD 集成、多集群部署、事件持久化与可视化 |
| 实战篇 | 第 27-30 章 | 生产级演练、故障注入测试、事后复盘与优化 |
学习建议：建议按照阶段顺序学习，每个阶段完成后在测试环境中完成配套实验。第 13 章开始的引擎开发部分需要 Go 语言基础，若团队以 Python 为主，课程也提供了 Python 参考实现。