4. 证书轮换失败典型场景1：kubelet证书过期导致Node NotReady，调度器无法调度Pod到该节点

4.1 场景概述

在Kubernetes集群中，kubelet使用由集群CA签发的TLS证书与kube-apiserver进行双向认证。当kubelet证书过期且自动轮换机制失效时，kubelet将无法向控制平面发送心跳（NodeLease），导致节点状态在node-monitor-grace-period（默认40秒）后变为NotReady。调度器随后将该节点标记为不可调度，已运行的Pod被驱逐，新Pod无法调度至此节点。

4.2 故障链路与根因分析

下图展示了从证书过期到调度异常的完整链路：

4.3 关键时间参数与影响

4.4 排查步骤与命令

1. 检查节点状态：

   kubectl get nodes
   # 输出示例：
   # NAME     STATUS     ROLES    AGE   VERSION
   # node-1   NotReady   <none>   30d   v1.28.5

2. 查看节点详情，确认Taint：

   kubectl describe node node-1 | grep -A5 Taints
   # 输出示例：
   # Taints:             node.kubernetes.io/unreachable:NoExecute
   #                     node.kubernetes.io/unreachable:NoSchedule

3. 检查kubelet日志，定位证书错误：

   # SSH登录到节点后执行
   journalctl -u kubelet -n 100 --no-pager | grep -i "certificate\|tls\|x509"
   # 典型错误：
   # "x509: certificate has expired or is not yet valid"
   # "failed to get recent kubelet config: failed to get kubelet config from api server"
   # "TLS handshake error from x.x.x.x: remote error: tls: bad certificate"

4. 检查证书过期时间：

   # 查看kubelet当前使用的证书
   openssl x509 -in /var/lib/kubelet/pki/kubelet-client-current.pem -text -noout | grep -A2 "Validity"
   # 输出示例：
   # Validity
   #     Not Before: Jan 10 12:00:00 2024 GMT
   #     Not After : Jan 10 12:00:00 2025 GMT  ← 已过期

5. 验证证书轮换配置：

   # 检查kubelet配置中证书轮换是否启用
   kubectl get nodes node-1 -o yaml | grep -i "rotate"
   # 或SSH到节点检查kubelet配置文件
   cat /var/lib/kubelet/config.yaml | grep -i "rotate"
   # 期望输出：
   # rotateCertificates: true
   # rotateServerCertificates: true

4.5 证书轮换机制对比

4.6 快速恢复方案

1. 方案一：手动触发证书轮换（推荐）

   # 1. 删除过期证书文件
   rm -f /var/lib/kubelet/pki/kubelet-client-current.pem
   rm -f /var/lib/kubelet/pki/kubelet-server-current.pem
   
   # 2. 重启kubelet服务
   systemctl restart kubelet
   
   # 3. 验证新证书是否生成
   ls -la /var/lib/kubelet/pki/kubelet-client-current.pem
   
   # 4. 确认节点状态恢复
   kubectl get nodes node-1
   # 等待约40秒后状态应变为 Ready

2. 方案二：手动签发证书（当自动轮换完全失效时）

   # 1. 生成新的CSR
   openssl req -new -key /var/lib/kubelet/pki/kubelet-client.key \
     -out /tmp/kubelet-client.csr \
     -subj "/CN=system:node:node-1/O=system:nodes"
   
   # 2. 使用集群CA签发证书
   openssl x509 -req -in /tmp/kubelet-client.csr \
     -CA /etc/kubernetes/pki/ca.crt \
     -CAkey /etc/kubernetes/pki/ca.key \
     -CAcreateserial -out /var/lib/kubelet/pki/kubelet-client-current.pem \
     -days 365
   
   # 3. 重启kubelet
   systemctl restart kubelet

3. 方案三：临时容忍Taint（仅用于紧急调度）

   # 为特定Pod添加容忍，使其可以调度到NotReady节点
   kubectl patch pod <pod-name> -p '{"spec":{"tolerations":[{"key":"node.kubernetes.io/unreachable","operator":"Exists","effect":"NoExecute"}]}}'

4.7 预防措施与监控建议

• 启用自动轮换： 在kubelet配置中设置 rotateCertificates: true 和 rotateServerCertificates: true
• 监控证书过期时间： 使用Prometheus + Grafana监控kubelet证书剩余天数，建议在证书到期前30天告警
• 配置CSR自动审批： 部署 kubelet-rubber-stamp 或配置RBAC允许kubelet自动审批自己的CSR
• 定期巡检： 每月执行证书检查脚本，输出所有节点的证书过期时间
• 证书有效期规划： 建议将kubelet证书有效期设置为1年，与集群CA证书有效期对齐

4.8 典型错误日志速查表