1. 课程导论：DNS故障与证书轮换的关联性概述，kubelet资源争抢的典型场景
1.1 现象：一次看似“随机”的DNS超时风暴
在生产Kubernetes集群中，DNS解析失败是最常见的“幽灵故障”之一。运维团队经常遇到这样的场景：应用Pod突然出现大量DNS查询超时，但CoreDNS Pod的CPU、内存指标正常，网络链路也未中断。重启Pod后问题暂时消失，但几分钟后再次复现。
经过深入排查，这类故障的根因往往并非CoreDNS本身，而是kubelet在证书轮换期间引发的资源争抢。当kubelet的TLS证书即将过期并触发自动轮换时，kubelet会短暂进入高负载状态，导致节点上的DNS缓存（如nscd、systemd-resolved）或Pod网络接口（如cni0、veth）出现竞争条件，最终表现为Pod内DNS请求超时。
关键认知： 证书轮换是kubelet的正常生命周期行为，但当集群规模较大（节点数 > 50）或证书轮换周期较短（如< 24小时）时，多个节点同时轮换会放大资源争抢效应，形成“DNS雪崩”。
1.2 故障链路：从证书轮换到DNS超时的完整路径
下图展示了证书轮换如何通过kubelet资源争抢，最终传导至Pod DNS解析失败的全链路。
1.3 典型场景：哪些集群最容易中招？
并非所有证书轮换都会引发DNS故障。以下场景的风险显著升高：
| 场景特征 | 风险等级 | 典型表现 |
|---|---|---|
| 节点数 > 100，证书轮换周期 < 12h | 高危 | 多个节点同时轮换，kubelet集体高负载 |
| 使用自签名证书，轮换脚本并发执行 | 高危 | 证书更新风暴，kubelet重启频繁 |
| 节点上运行大量Pod（每节点 > 50） | 中危 | CNI接口配置竞争加剧 |
| 使用nscd做DNS缓存，且缓存TTL较短 | 中危 | 缓存刷新与kubelet争抢文件锁 |
| 集群使用Calico网络插件，且开启IPVS | 低危 | 偶发veth创建延迟 |
1.4 资源争抢的三种典型模式
kubelet在证书轮换期间，主要通过以下三种机制引发资源争抢：
- 文件锁竞争：kubelet更新证书时需要写入
/var/lib/kubelet/pki目录，同时nscd或systemd-resolved也在读取DNS缓存文件，导致文件锁等待。 - CNI接口配置竞争：kubelet在证书轮换后会重建部分Pod网络接口（cni0、veth），与正在进行的Pod创建/删除操作争夺CNI插件执行权。
- kubelet API队列堆积：证书轮换期间kubelet需要向API Server上报新证书状态，导致Pod状态更新请求排队，影响后续Pod的DNS配置下发。
注意： 这三种模式往往同时发生，形成“竞争叠加”。例如文件锁竞争导致nscd缓存刷新延迟，进而使Pod内的DNS查询直接穿透到上游CoreDNS，造成CoreDNS瞬时压力激增。
1.5 课程学习路径
本课程将按照以下结构深入剖析该故障：
| 章节 | 核心内容 | 关键产出 |
|---|---|---|
| 第2-5章 | kubelet证书轮换机制详解 | 证书轮换触发条件、日志分析 |
| 第6-10章 | DNS解析链路与缓存原理 | Pod DNS请求完整路径 |
| 第11-15章 | 资源争抢的根因定位 | 文件锁、CNI竞争、API队列分析 |
| 第16-20章 | 故障复现与模拟 | 证书轮换压力测试脚本 |
| 第21-25章 | 生产级解决方案 | 证书轮换策略优化、缓存隔离 |
| 第26-30章 | 监控告警与自动化防御 | Prometheus告警规则、自愈方案 |
1.6 前置知识要求
学习本课程前，建议读者具备以下基础：
- 熟悉Kubernetes基本概念：Pod、Node、kubelet、API Server
- 了解DNS基础原理：A记录、SRV记录、DNS缓存、超时重试
- 具备基本的Linux系统调试能力：strace、lsof、journalctl
- 了解TLS/SSL证书基础知识：证书链、轮换、有效期
课程定位： 本课程面向SRE、Kubernetes运维工程师、平台架构师。你将学会从“DNS超时”表象出发，逆向追踪到“证书轮换”这一深层根因，并掌握可落地的排查工具与防御策略。