4、网络层面排查（一）：节点DNS解析失败导致无法解析仓库域名

镜像拉取的第一步是域名解析。Kubelet 或容器运行时（如 containerd）在拉取镜像前，会先向 DNS 服务器查询仓库域名（如 registry.k8s.io、docker.io）对应的 IP 地址。如果节点 DNS 配置错误或上游 DNS 不可达，解析就会失败，直接导致 ErrImagePull 或 ImagePullBackOff。

4.1 DNS 解析链路与关键组件

K8s 节点上的 DNS 解析涉及三层组件，任何一层出问题都会导致解析失败：

4.2 节点本地 DNS 解析排查步骤

以下步骤在故障节点上以 root 或 sudo 权限执行：

1. 检查 /etc/resolv.conf 内容

   cat /etc/resolv.conf
   # 期望输出示例：
   # nameserver 10.96.0.10
   # nameserver 192.168.1.1
   # search default.svc.cluster.local svc.cluster.local cluster.local
   # options ndots:5

   常见问题：nameserver 指向了已删除的 CoreDNS Service IP、search 域超过 6 个导致解析延迟、ndots 值过大导致不必要的 DNS 查询。

2. 使用 nslookup 或 dig 测试域名解析

   # 测试公网仓库域名
   nslookup registry.k8s.io
   # 测试集群内部域名
   nslookup kubernetes.default.svc.cluster.local
   
   # 使用 dig 查看详细响应
   dig @10.96.0.10 registry.k8s.io +short

   如果 nslookup 返回 server can't find xxx: NXDOMAIN 或 connection timed out，说明 DNS 解析异常。

3. 检查 DNS 服务端口连通性

   # 测试 UDP 53 端口
   nc -vuz 10.96.0.10 53
   # 测试 TCP 53 端口（大响应时使用）
   nc -vz 10.96.0.10 53

   如果端口不通，检查节点防火墙规则（iptables / nftables）或安全组是否放行了 DNS 流量。

4. 检查 systemd-resolved 状态（如果启用）

   systemctl status systemd-resolved
   resolvectl status
   resolvectl query registry.k8s.io

   如果 systemd-resolved 未运行或配置了错误的 DNS 服务器，会导致解析失败。

4.3 DNS 解析失败故障树（SVG）

下图展示了从 Pod 发起镜像拉取到 DNS 解析失败的全链路排查路径：

4.4 常见 DNS 配置错误与修复

4.5 快速验证脚本

将以下脚本保存为 dns_check.sh，在故障节点上执行，可快速输出 DNS 健康状态：

#!/bin/bash
# K8s 节点 DNS 健康检查脚本
echo "=== /etc/resolv.conf ==="
cat /etc/resolv.conf

echo ""
echo "=== 测试公网仓库域名 ==="
for domain in registry.k8s.io docker.io quay.io; do
  result=$(nslookup "$domain" 2>&1)
  if echo "$result" | grep -q "NXDOMAIN\|server can't find\|connection timed out"; then
    echo "[FAIL] $domain - 解析失败"
  else
    echo "[OK]   $domain - 解析成功"
  fi
done

echo ""
echo "=== 测试集群内部域名 ==="
for domain in kubernetes.default.svc.cluster.local; do
  result=$(nslookup "$domain" 2>&1)
  if echo "$result" | grep -q "NXDOMAIN\|server can't find\|connection timed out"; then
    echo "[FAIL] $domain - 解析失败"
  else
    echo "[OK]   $domain - 解析成功"
  fi
done

echo ""
echo "=== DNS 端口连通性测试 ==="
for ns in $(awk '/^nameserver/{print $2}' /etc/resolv.conf); do
  if nc -vuz "$ns" 53 2>&1 | grep -q "succeeded"; then
    echo "[OK]   $ns:53 - UDP 可达"
  else
    echo "[FAIL] $ns:53 - UDP 不可达"
  fi
done