📚 课程目录第4章回滚策略总览

4. 回滚策略总览：触发条件、粒度与原子性

在多集群变更门禁体系中，回滚策略是保障集群稳定性的最后一道防线。本章从三个核心维度构建回滚策略的总体框架：触发条件决定“何时回滚”，回滚粒度决定“回滚到什么范围”，原子性要求决定“回滚必须满足什么一致性约束”。

设计原则：回滚策略应遵循“快速失败、最小影响、可逆可审计”的三原则。任何回滚操作都必须记录完整的变更前快照与回滚后状态，以便事后复盘。

回滚触发条件分为自动触发与手动触发两大类。自动触发依赖门禁系统的健康检查与指标监控，手动触发则用于紧急干预或灰度验证失败场景。

触发类型	条件描述	典型阈值/场景	响应时间要求
健康检查失败	集群或应用就绪探针、存活探针连续失败	3 次连续失败，间隔 10s	< 30s
错误率突增	HTTP 5xx 比率、应用错误日志比率超过基线	5xx 比率 > 5%，持续 2 分钟	< 2min
延迟超阈值	P99 延迟超过服务等级目标（SLO）的 1.5 倍	P99 > 500ms，持续 1 分钟	< 1min
资源异常	CPU/内存使用率超过安全水位，或 OOMKill 事件	CPU > 85%，持续 5 分钟	< 5min
人工干预	运维人员通过控制台或 API 主动发起回滚	灰度验证不通过、紧急故障	即时

注意：自动触发条件应设置“冷却期”与“抖动抑制”，避免因瞬时波动导致频繁回滚。建议采用滑动窗口 + 多数一致算法（如至少 2 个集群同时触发才执行全局回滚）。

回滚粒度决定了回滚操作的影响范围。Federation 架构下，回滚粒度分为三个层级，每个层级对应不同的回滚策略与实现复杂度。

资源级（Resource-Level）：针对单个 Kubernetes 资源对象（如 Deployment、ConfigMap、Service）进行回滚。适用于配置错误、镜像版本错误等局部问题。实现方式为直接调用 kubectl rollout undo 或通过 API 恢复资源的历史版本。
应用级（Application-Level）：针对一个完整应用（包含多个关联资源，如 Deployment + Service + HPA）进行回滚。适用于应用整体行为异常。实现方式为通过 Helm Rollback 或 Kustomize 版本切换，确保应用所有组件一致回退。
集群级（Cluster-Level）：针对整个成员集群的变更批次进行回滚。适用于集群级别故障（如网络分区、节点异常）。实现方式为通过 Federation API 撤销整个 ClusterPropagatedVersion 的传播，并触发集群级别的状态恢复。

原子性要求确保回滚操作要么完全成功，要么完全不执行，避免出现“部分回滚”导致的集群状态不一致。在 Federation 多集群场景下，原子性面临跨集群网络延迟、部分集群不可用等挑战。

原子性级别	描述	实现方式	适用场景
单集群原子性	在单个集群内，回滚操作要么全部成功，要么全部失败	使用 Kubernetes 原生 `rollout undo` 的事务语义	资源级、应用级回滚
跨集群原子性	多个集群的回滚操作必须全部成功，任一失败则整体回滚	两阶段提交（2PC）或 Saga 模式 + 补偿事务	集群级回滚、全局配置变更
最终一致性原子性	允许短暂不一致，但最终所有集群达到一致状态	基于 Federation 的 `ClusterPropagatedVersion` 状态机 + 重试机制	非关键业务、可容忍短时不一致的场景

  实践建议：对于跨集群原子性要求高的场景（如数据库连接串变更、证书更新），推荐使用 Saga 模式。Saga 模式通过定义正向事务与补偿事务，在部分集群回滚失败时执行补偿操作，避免全局阻塞。补偿事务必须幂等且可重试。

综合触发条件、粒度与原子性要求，以下矩阵帮助团队快速选择回滚策略组合：

变更类型	推荐触发条件	推荐回滚粒度	推荐原子性级别
配置项变更（ConfigMap/Secret）	健康检查失败 + 错误率突增	资源级	单集群原子性
应用版本升级	延迟超阈值 + 错误率突增	应用级	单集群原子性
集群级策略变更（网络策略/资源配额）	人工干预 + 健康检查失败	集群级	跨集群原子性（Saga）
全局基础设施变更（CRD/Operator）	人工干预	集群级	最终一致性原子性

关键指标：回滚策略设计完成后，应通过混沌工程验证以下指标：
• 回滚成功率 ≥ 99.9%
• 回滚平均耗时：资源级 < 30s，应用级 < 2min，集群级 < 5min
• 回滚期间业务中断时间 ≤ 30s（针对有状态服务）