3. 集群升级的挑战与风险：版本兼容性、资源波动、Pod中断预算、节点压力与驱逐策略

Kubernetes 集群升级并非简单的版本替换，而是一次涉及控制面、数据面、工作负载与基础设施的协同变更。在生产环境中，任何环节的疏忽都可能导致服务中断或性能退化。本章从四个核心维度拆解升级过程中的典型风险，并给出对应的治理思路。

3.1 版本兼容性：API 弃用与资源版本迁移

Kubernetes 社区遵循 N-2 支持策略，每个大版本都会弃用一批旧 API。升级时若未提前迁移资源，将导致资源无法被新版本识别，甚至静默丢失。

风险类型 典型场景 影响范围
API 版本移除 v1.22 移除 extensions/v1beta1 Ingress Ingress 控制器无法解析旧资源
CRD 版本不匹配 Operator 未同步升级，CRD 存储版本冲突 自定义资源无法读写
kubelet 与 apiserver 版本差 kubelet 落后 apiserver 超过 2 个小版本 节点无法注册，Pod 调度失败
Webhook 证书过期 升级后证书链不兼容 Mutating / Validating Webhook 失效
治理建议：在升级前运行 kubectl convert 或 pluto 扫描集群中所有已弃用 API 的资源，并提前完成迁移。对于 CRD，确保 Operator 版本与目标集群版本匹配。

3.2 资源波动：节点水位与调度震荡

升级过程中，节点会被逐台封锁（cordon）并排空（drain），导致 Pod 重新调度。如果集群未预留足够的缓冲资源，可能引发级联过载。

  • CPU / 内存超分比过高：排空节点后，剩余节点无法承载全部 Pod，触发 OOMKill 或 CPU 节流。
  • 节点拓扑分布不均：Pod 亲和性/反亲和性策略导致 Pod 集中调度到少数节点，形成热点。
  • 突发流量叠加：升级窗口与业务高峰重叠，资源争抢加剧。
量化指标：建议集群预留至少 1 个节点 + 20% 的 CPU/内存余量 用于升级期间的 Pod 重调度。使用 cluster-autoscaler 时，需确保扩容速度能跟上排空节奏。

3.3 Pod 中断预算（PDB）：保护关键工作负载

PodDisruptionBudget 是升级期间保障服务可用性的核心机制。PDB 定义了一个 ReplicaSet 或 StatefulSet 在自愿中断（如节点排空）期间允许的最大不可用 Pod 数量。

apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: web-pdb
spec:
  minAvailable: 2
  selector:
    matchLabels:
      app: web

升级过程中，kubectl drain 会检查 PDB 约束：如果排空一个 Pod 会导致可用副本数低于 PDB 阈值，drain 操作将被阻塞，直到有新的 Pod 就绪或超时。

PDB 配置策略 适用场景 风险提示
minAvailable: 80% 无状态 Web 服务，可接受少量降级 排空速度较慢，需配合滚动更新窗口
maxUnavailable: 1 有状态数据库，严格保证多数派 排空可能长时间阻塞，需手动干预
未设置 PDB 测试环境或可中断任务 所有 Pod 可能同时被驱逐，服务完全中断
注意：PDB 只约束 自愿中断（如 drain、rollout），不保护非自愿中断（如节点宕机、OOM）。对于有状态工作负载，建议结合 pod-identity 和 preStop hook 实现优雅退出。

3.4 节点压力与驱逐策略：从 drain 到 eviction

节点排空（drain）是升级的标准操作，但驱逐顺序和超时策略直接影响服务稳定性。Kubernetes 提供两种驱逐机制：

  • kubectl drain：显式触发，遵循 PDB 和 GracePeriod，适合计划内升级。
  • 节点压力驱逐（Node Pressure Eviction）：由 kubelet 自动触发，当节点资源（磁盘、内存、PID）超过阈值时，按 QoS 等级驱逐 Pod。
节点驱逐决策流程 触发驱逐 检查 PDB 与 GracePeriod PDB 约束未满足 阻塞等待 / 超时 PDB 约束满足 执行驱逐 Pod 迁移至其他节点 说明：节点压力驱逐（kubelet 自动触发）不等待 PDB，直接按 QoS 等级驱逐 BestEffort → Burstable → Guaranteed

3.5 综合风险矩阵与治理策略

将上述风险整合为一张治理矩阵，便于在升级前进行逐项检查：

风险维度 检测手段 治理措施 优先级
API 兼容性 kubectl convert / pluto 扫描 提前迁移资源，更新 CRD 版本 P0
资源波动 集群资源利用率监控（Prometheus） 预留缓冲节点，启用 cluster-autoscaler P0
PDB 缺失 kubectl get pdb --all-namespaces 为所有生产工作负载配置 PDB P1
驱逐超时 drain 超时日志 / 事件 调整 --grace-period 和 --timeout P1
节点压力 kubelet 驱逐阈值检查 调整 evictionHard 阈值，预留系统资源 P2
升级前检查清单：
1. 确认所有工作负载已设置 PDB。
2. 运行 kubectl drain --dry-run=server 模拟排空，提前发现阻塞。
3. 检查节点资源利用率，确保有足够余量。
4. 验证 Webhook 和 CRD 与目标版本兼容。
5. 制定回滚计划，保留快照或备份 etcd。
← 上一章 📖 返回目录 下一章 →