存储挂载故障基础：PV/PVC 概念回顾、存储挂载流程、常见存储插件类型
Pod 进入 CrashLoopBackOff 状态，超过 40% 的根因与存储挂载异常直接相关。要精准定位这类故障，必须先理清 Kubernetes 存储体系的核心抽象——PV 与 PVC，以及从声明到挂载的完整链路。本节从概念、流程、插件三个维度建立诊断基础。
2.1 PV 与 PVC：存储的供需分离
Kubernetes 通过 PersistentVolume（PV）和 PersistentVolumeClaim（PVC）实现存储资源的声明式管理与供需解耦。PV 是集群管理员预置的存储资源，PVC 是用户对存储资源的请求。两者通过匹配机制绑定，Pod 再通过 PVC 引用获得持久化存储。
| 概念 | 角色 | 生命周期 | 典型属性 |
|---|---|---|---|
| PV | 存储资源（由管理员创建） | 独立于 Pod，可静态预置或动态供给 | 容量、访问模式（ReadWriteOnce / ReadOnlyMany / ReadWriteMany）、回收策略（Retain / Recycle / Delete）、存储类（StorageClass） |
| PVC | 存储请求（由用户创建） | 与 Pod 绑定，Pod 删除后 PVC 默认保留 | 请求容量、访问模式、选择器（Selector）、存储类名称 |
| StorageClass | 动态供给模板 | 按需自动创建 PV | provisioner、参数（parameters）、回收策略、绑定模式（Immediate / WaitForFirstConsumer） |
诊断要点：CrashLoop 场景中，PVC 处于 Pending 状态通常意味着没有匹配的 PV 或 StorageClass 配置错误；PV 处于 Released 状态则可能被前一个 Pod 残留数据或锁文件阻塞。
2.2 存储挂载流程：从 PVC 到 Pod 内目录
一个完整的存储挂载流程涉及控制面与节点面的多个组件协作。理解每一步的时序与失败点，是定位挂载故障的前提。
- PVC 创建与绑定：用户创建 PVC，Kubernetes 控制面（kube-controller-manager）根据 PVC 请求查找匹配的 PV 或通过 StorageClass 动态创建 PV，将 PVC 与 PV 绑定（Bound）。
- Pod 调度：kube-scheduler 根据 Pod 的 PVC 需求、节点资源、亲和性规则选择目标节点。
- Attach/Detach 操作：AttachDetachController（或 kubelet 内嵌的 VolumeManager）将存储卷挂载到节点层面。对于块存储（如云盘），此步骤将设备挂载到节点；对于网络文件系统（如 NFS），此步骤仅做路径准备。
- Mount 操作：kubelet 的 VolumeManager 在 Pod 启动前执行
mount系统调用，将存储卷挂载到 Pod 的挂载命名空间内的目标路径。 - Pod 启动：kubelet 启动容器，容器内通过
volumeMounts配置访问已挂载的目录。
故障高发区：步骤 3（Attach）超时或失败常见于云盘挂载参数错误；步骤 4（Mount）失败常见于 NFS 服务器不可达、文件系统损坏、挂载选项冲突；步骤 5 后 CrashLoop 常见于挂载目录权限不足或文件锁冲突。
2.3 常见存储插件类型与故障特征
不同的存储插件在挂载机制、性能特征、故障模式上差异显著。运维人员需要根据插件类型快速缩小排查范围。
| 存储类型 | 插件/Provisioner | 访问模式 | 典型故障特征 | 排查切入点 |
|---|---|---|---|---|
| NFS | nfs-csi / 内置 nfs | ReadWriteMany | Pod 启动超时、mount.nfs: Connection timed out、Stale file handle |
NFS 服务器连通性、export 路径、nfsvers 参数、锁文件残留 |
| Ceph RBD | ceph-csi rbd | ReadWriteOnce | Attach 阶段卡住、rbd: map failed、image is still being used |
Ceph 集群健康状态、rbd 镜像锁、monitor 地址、认证密钥 |
| CephFS | ceph-csi cephfs | ReadWriteMany | Mount 阶段超时、mount error 5 = Input/output error |
Ceph MDS 状态、子卷路径、客户端配额限制 |
| 云盘（AWS EBS） | ebs-csi-driver | ReadWriteOnce | Attach 超时、VolumeInUse、InvalidVolume.ZoneMismatch |
可用区一致性、卷状态、节点 IAM 权限、最大挂载数限制 |
| 云盘（GCP PD） | gce-pd-csi-driver | ReadWriteOnce | Attach 失败、disk.AlreadyAttached、multi-attach error |
磁盘模式（pd-standard/pd-ssd）、节点区域、副本数限制 |
| 云盘（Azure Disk） | azuredisk-csi-driver | ReadWriteOnce | Attach 超时、LeaseNotPresent、DiskNotPresent |
磁盘 SKU、节点资源组、缓存模式（None/ReadOnly/ReadWrite） |
关键警告：云盘类存储（EBS/PD/Azure Disk）不支持跨节点 ReadWriteMany。如果多个 Pod 副本需要共享读写同一存储卷，必须使用 NFS、CephFS 或 GlusterFS 等网络文件系统。误用 ReadWriteOnce 会导致 Pod 调度冲突，引发 CrashLoop。
2.4 存储挂载故障的通用排查命令
无论使用哪种存储插件，以下命令组合可以快速定位挂载阶段的问题：
# 1. 查看 Pod 事件，定位挂载错误
kubectl describe pod <pod-name> -n <namespace>
# 2. 检查 PVC 绑定状态
kubectl get pvc <pvc-name> -n <namespace> -o wide
# 3. 查看 PV 详情，确认回收策略与状态
kubectl get pv <pv-name> -o yaml
# 4. 进入节点检查挂载点（需节点 SSH 或 kubectl debug）
mount | grep <pvc-name>
df -h | grep <volume-id>
# 5. 查看 kubelet 日志中的挂载错误
journalctl -u kubelet -n 100 --no-pager | grep -i "mount\|volume\|error"
# 6. 对于 CSI 驱动，查看对应 sidecar 容器日志
kubectl logs -n kube-system <csi-controller-pod> -c csi-provisioner --tail=50
实战技巧：在排查 NFS 挂载故障时，优先在节点上手动执行
showmount -e <nfs-server-ip> 验证导出列表；对于 Ceph RBD，使用 rbd status <pool>/<image> 检查镜像锁状态。这些命令能绕过 Kubernetes 抽象层，直接暴露底层问题。