1. 课程导论：Cilium证书轮换与kubelet资源争抢的背景、课程目标与受众
1.1 生产环境中的“隐形杀手”：证书过期与资源争抢
在Kubernetes生产集群中，有两类故障往往不会立即触发告警，却会在关键时刻导致大规模服务中断：Cilium控制面证书过期与kubelet资源争抢。前者让网络策略与服务网格通信瞬间瘫痪，后者则让节点进入“假死”状态，Pod调度与健康检查全面失效。
⚠️ 典型事故场景：某金融科技公司因Cilium mTLS证书未及时轮换，导致跨节点Pod通信全部中断，恢复耗时47分钟；另一家电商平台因kubelet与节点压力竞争（CPU/内存/磁盘IO），引发大规模Pod驱逐，影响核心交易链路。
本课程聚焦这两大故障域的根因分析、复现方法与修复策略，帮助SRE团队建立从“被动救火”到“主动防御”的能力跃迁。
1.2 核心故障背景对比
| 维度 | Cilium证书轮换故障 | kubelet资源争抢故障 |
|---|---|---|
| 故障本质 | 控制面身份认证失效 | 节点级资源竞争导致kubelet无响应 |
| 影响范围 | 跨节点网络策略、服务网格通信 | 单节点Pod调度、健康检查、日志采集 |
| 触发条件 | 证书过期、CA轮换未同步、Secret更新延迟 | CPU节流、内存OOM、磁盘IOPS打满、PID耗尽 |
| 检测难度 | 中等（需监控证书有效期与gRPC连接状态） | 高（kubelet可能无日志输出，仅表现为Pod异常） |
| 恢复手段 | 手动触发证书轮换、重启Cilium Agent | 资源隔离、调整kubelet QoS、节点压力驱逐策略 |
1.3 课程目标：从原理到实战的完整闭环
完成本课程后，学员将具备以下能力：
- 理解Cilium证书体系：掌握SPIFFE、mTLS、CA与Leaf证书的生成与轮换机制。
- 复现证书轮换故障：通过手动篡改证书、模拟CA过期，观察Cilium Agent与Operator的异常行为。
- 诊断kubelet资源争抢：使用cAdvisor、kubectl top、节点压力驱逐日志定位根因。
- 制定自动化策略：编写证书轮换CronJob、配置kubelet资源预留与驱逐阈值。
- 构建故障演练体系：将两类故障纳入混沌工程实验库，定期验证集群韧性。
💡 学习路径建议：先掌握Cilium证书轮换（第2-15章），再深入kubelet资源争抢（第16-28章），最后通过综合案例（第29-30章）串联两大故障域。
1.4 目标受众
- SRE / 平台工程师：负责Kubernetes集群日常运维与故障响应。
- Kubernetes管理员：管理大规模生产集群，关注节点稳定性与网络可靠性。
- 安全工程师：关注服务网格身份认证与证书生命周期管理。
- 混沌工程实践者：需要设计真实故障场景进行演练。
1.5 课程知识体系总览
1.6 课程章节速览
| 章节范围 | 核心内容 | 实战产出 |
|---|---|---|
| 第2-8章 | Cilium证书体系原理与手动轮换 | 证书状态检查脚本、轮换CronJob |
| 第9-15章 | 证书故障复现与自动化修复 | 故障注入工具、告警规则 |
| 第16-22章 | kubelet资源模型与争抢根因分析 | 资源监控仪表盘、压力测试脚本 |
| 第23-28章 | kubelet资源争抢故障复现与调优 | 驱逐策略配置、混沌实验模板 |
| 第29-30章 | 综合案例：证书+资源争抢联合故障 | 完整故障排查报告与演练方案 |
📌 课程前置要求：具备Kubernetes基础运维经验（Pod、Node、kubelet基本概念），了解Cilium基本架构（Agent、Operator、CNI插件），熟悉Linux资源监控命令（top、iostat、ss）。