3. 镜像拉取并发模型：serial、parallel、serialized-on-node 三种拉取策略详解

在 Kubernetes 集群中，镜像拉取是 Pod 启动的关键路径。当大量 Pod 同时调度到同一节点或跨节点时，镜像拉取的并发策略直接影响节点启动速度、镜像仓库负载以及 etcd 的状态同步压力。Kubelet 提供了三种核心拉取策略：serial（串行）、parallel（并行）和 serialized-on-node（节点级串行化）。理解这三种模型的并发行为与容量影响，是进行集群容量规划的基础。

3.1 三种策略的核心定义与对比

策略名称 并发模型 拉取队列结构 节点内并发度 跨节点影响 典型场景
serial 全局串行 单队列，FIFO 1 无 小规模集群、镜像仓库带宽受限
parallel 全局并行 多队列，无限制 N（节点数 × 并发因子） 高，可能打满仓库 大规模快速扩容、CI/CD 流水线
serialized-on-node 节点内串行，节点间并行 每节点独立队列 1（每节点） 中等，按节点分散 生产集群默认推荐、混合负载
容量规划要点： serialized-on-node 是生产环境最常用的策略。它在节点内避免镜像拉取冲突（如磁盘 I/O 争抢），同时在节点间保持并行度，使仓库负载随节点数量线性增长，而非指数级爆发。

3.2 策略一：serial（全局串行）

serial 策略将所有节点的镜像拉取请求放入一个全局队列，每次只处理一个拉取任务。下一个任务必须等待当前任务完成（包括下载、解压、挂载）后才能开始。

  • 优点： 镜像仓库负载最低，磁盘 I/O 平稳，适合仓库带宽或 QPS 极低的环境。
  • 缺点： 大规模集群中 Pod 启动延迟极高，一个大型镜像（如 10GB）会阻塞后续所有 Pod。
  • etcd 影响： Pod 状态更新节奏慢，etcd 写入压力小，但 Pod 启动超时风险增加。
# Kubelet 启动参数示例（serial 模式）
--serialize-image-pulls=true
--max-pods=110
# 注意：serial 模式下 max-pods 实际受限于串行拉取速度

3.3 策略二：parallel（全局并行）

parallel 策略允许所有节点同时发起镜像拉取，没有全局或节点级限制。Kubelet 会尽可能多地并发拉取，直到系统资源（网络带宽、磁盘 I/O、仓库连接数）耗尽。

  • 优点： 大规模扩容时 Pod 启动速度最快，适合弹性伸缩和批量作业。
  • 缺点： 极易打满镜像仓库带宽和连接数，导致拉取超时、失败重试，甚至触发仓库限流。
  • etcd 影响： Pod 状态在短时间内大量写入，etcd 写入 QPS 可能飙升 10-100 倍，引发 leader 选举抖动。
容量规划陷阱： 不要在生产集群中直接启用 parallel 模式而不做限流。建议配合 --registry-qps 和 --registry-burst 参数限制全局并发拉取速率，防止仓库雪崩。 
# Kubelet 启动参数示例（parallel 模式 + 限流）
--serialize-image-pulls=false
--registry-qps=10
--registry-burst=20
--max-pods=110

3.4 策略三：serialized-on-node（节点级串行化）

serialized-on-node 是 Kubernetes 1.27+ 引入的改进策略，也是当前生产环境的推荐配置。它在每个节点内部维护一个独立的串行拉取队列，不同节点之间可以并行拉取。

  • 优点： 节点内避免镜像层下载冲突（如并发写入 overlayfs），节点间保持并行度，仓库负载按节点数均匀分布。
  • 缺点： 单节点内如果存在多个大镜像的 Pod，仍会出现排队延迟。
  • etcd 影响： 状态更新节奏介于 serial 和 parallel 之间，写入模式更平滑，适合大规模集群。
# Kubelet 启动参数示例（serialized-on-node 模式）
--serialize-image-pulls=per-node
# 或通过 KubeletConfiguration 配置
imagePullMaxParallel: 0  # 0 表示每节点串行

3.5 三种策略的并发模型对比图

三种镜像拉取并发模型对比 serial（全局串行） 节点A → 镜像X 节点B → 镜像Y（等待） 节点C → 镜像Z（等待） parallel（全局并行） 节点A → 镜像X 节点B → 镜像Y 节点C → 镜像Z serialized-on-node 节点A → 镜像X 节点B → 镜像Y 节点C → 镜像Z 说明： serial 所有节点排队；parallel 所有节点同时拉取；serialized-on-node 节点内串行、节点间并行。 仓库负载对比 serial：负载 = 1（恒定） parallel：负载 = N（爆发） serialized：负载 = 节点数

3.6 策略选择对 etcd 状态同步的影响

镜像拉取策略直接影响 Pod 状态从 Pending → PodInitializing → Running 的转换速率，进而影响 etcd 的写入负载模式。

策略 Pod 状态更新模式 etcd 写入 QPS 峰值 etcd 存储空间增长 建议集群规模
serial 平滑、线性 低（1-5 次/秒） 慢 < 50 节点
parallel 突发、尖峰 高（100-1000+ 次/秒） 快（大量事件记录） < 200 节点（需限流）
serialized-on-node 节点内平滑，节点间分散 中等（节点数 × 1-2 次/秒） 中等 500+ 节点（推荐）
容量规划建议： 对于 500 节点以上的集群，务必使用 serialized-on-node 策略。同时配合 --event-qps=5 限制事件写入速率，避免 etcd 因大量 Pod 状态事件而过载。如果必须使用 parallel 模式，建议将 registry-qps 控制在 10-20 之间，并启用镜像缓存（如 registry-mirrors）来降低仓库压力。

3.7 生产环境配置清单

  1. 策略选择： 默认使用 serialized-on-node（Kubernetes v1.27+），低版本使用 serial 并配合 max-pods 控制并发。
  2. 限流参数： 设置 registry-qps 和 registry-burst 防止仓库过载。
  3. 镜像缓存： 配置节点本地镜像缓存或 P2P 分发（如 Dragonfly、Kraken）减少重复拉取。
  4. etcd 保护： 限制事件 QPS，启用 etcd 压缩（--auto-compaction-retention）。
  5. 监控指标： 关注 kubelet_pull_image_duration_seconds、etcd_server_leader_changes_seen_total。
# 推荐 KubeletConfiguration 片段（YAML）
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
serializeImagePulls: per-node  # serialized-on-node 策略
imagePullMaxParallel: 0        # 0 表示每节点串行
registryPullQPS: 10            # 全局拉取 QPS 限制
registryBurst: 20              # 突发拉取允许量
eventRecordQPS: 5              # 事件写入 QPS 限制
maxPods: 110                   # 每节点最大 Pod 数
← 上一章 📖 返回目录 下一章 →