分布式存储基础：架构、组件与数据分布策略
在 GPU 数据中心场景下，分布式存储并非一个可选项，而是承载大规模模型训练、检查点保存、数据集加载的底层基座。理解其架构骨架、核心组件与数据分布策略，是后续定位延迟问题的前提。本章从工程视角拆解这三层，并给出与 GPU 工作负载强相关的判断依据。
2.1 分布式存储的总体架构分层
任何分布式存储系统，无论其对外宣称的形态是对象存储、文件存储还是块存储，在逻辑上都可以划分为四个平面：
- 接入平面（Access Plane）：负责接收客户端请求，处理协议转换（如 NFS、SMB、S3、iSCSI），并完成权限校验与请求路由。在 GPU 集群中，接入平面通常是若干无状态网关节点，它们不保存数据，只做转发与协调。
- 元数据平面（Metadata Plane）：管理文件系统树、对象索引、目录项、文件属性以及数据块到物理位置的映射关系。这是分布式存储中最复杂的部分，也是延迟抖动的主要来源之一。元数据服务通常采用独立集群或分片模式部署。
- 数据平面（Data Plane）：负责实际数据块的持久化、副本复制、纠删码计算与磁盘读写。数据节点（OSD/Chunk Server/Storage Node）构成该平面，它们直接与底层硬件（NVMe SSD、SATA HDD）交互。
- 控制平面（Control Plane）：负责集群成员管理、故障检测、数据再平衡、容量规划与配置下发。控制平面通常以分布式协调服务（如 etcd、ZooKeeper）为核心，其决策质量直接影响数据分布均匀性与故障恢复速度。
2.2 核心组件及其职责边界
不同分布式存储产品的组件命名各异，但职责边界高度相似。下表列出常见组件及其在 GPU 数据中心场景下的关键关注点：
| 组件 | 核心职责 | GPU 场景关注点 |
|---|---|---|
| 客户端/挂载器 | 协议封装、缓存、请求重试 | 本地缓存命中率、内核态 vs 用户态开销 |
| 元数据服务 | 目录/文件/对象索引，锁管理 | 并发创建小文件时的锁竞争、目录深度 |
| 数据节点 | 数据块读写、校验、复制 | NVMe 队列深度、磁盘固件版本、写放大 |
| 协调服务 | 选主、配置同步、故障发现 | 心跳超时阈值、网络分区容忍度 |
| 监控/追踪 | 指标采集、链路追踪、日志聚合 | 延迟分位数统计、慢请求采样 |
在 GPU 集群中，客户端组件往往运行在计算节点上，与 NCCL 通信库共享网络资源。因此，客户端组件的内存占用、CPU 轮询频率以及是否支持 RDMA 直连，都会对训练迭代时间产生直接影响。
2.3 数据分布策略：从哈希到 CRUSH
数据分布策略决定了数据块放置在哪些物理节点上，以及如何在不中断服务的情况下进行扩容与故障迁移。常见的策略包括：
2.3.1 一致性哈希（Consistent Hashing）
将数据键映射到一个环形空间，每个节点负责环上的一段区间。当节点增减时，仅影响相邻节点的数据迁移。该策略广泛用于缓存系统与对象存储网关。其优点是实现简单、迁移量可控；缺点是容易产生数据倾斜，且无法感知磁盘容量差异。
2.3.2 范围分区（Range Partitioning）
按数据键的字典序或数值范围划分区间，每个区间映射到一组节点。该策略对范围查询友好，但容易产生热点分区（例如时间序列数据的最新分区）。在 GPU 训练场景中，检查点文件通常按时间戳命名，若采用范围分区，最新检查点会集中写入同一组节点，造成写延迟尖峰。
2.3.3 CRUSH 算法（Ceph 为代表）
CRUSH（Controlled Replication Under Scalable Hashing）通过层级化的 Cluster Map 计算数据位置，无需中心化查询表。它将数据对象映射到 Placement Group（PG），再由 PG 映射到 OSD 列表。CRUSH 支持按故障域（机架、主机、磁盘）分散副本，避免数据丢失风险。
# 伪代码示意：CRUSH 映射逻辑
pg_id = hash(object_name) % num_pgs
osd_list = crush_choose(pg_id, cluster_map, ruleset)
# ruleset 定义副本数、故障域层级、权重CRUSH 的核心优势在于：客户端可以直接计算数据位置，无需每次请求都查询元数据服务。这大幅降低了元数据平面的压力，但也意味着 Cluster Map 的变更（如 OSD 上下线）需要高效广播到所有客户端，否则会出现数据访问到旧位置的情况。
2.3.4 基于权重与容量的动态分配
现代分布式存储系统（如 Ceph 的 Balancer、HDFS 的 Balancer）会在后台持续检测节点容量与负载，通过迁移数据块来平衡集群。该过程需要控制迁移带宽，避免影响正常 I/O。在 GPU 训练期间，应暂停或限制数据再平衡任务，防止其抢占存储带宽。
2.4 数据分布策略的工程选型建议
针对 GPU 数据中心，数据分布策略的选择应遵循以下原则：
- 优先选择故障域感知的分布策略：确保副本或纠删码分片分布在不同的机架或电源域，避免单点故障导致整个训练任务中断。
- 避免热点分区：对于检查点文件、日志文件等时间序列数据，采用哈希或随机前缀打散，而不是按时间范围连续写入。
- 关注 PG/分片数量设置：PG 数量过少会导致单个 PG 内数据量过大，恢复时间变长；PG 数量过多则增加内存开销与心跳负担。经验值：每个 OSD 的 PG 数量控制在 100~300 之间。
- 预留扩容余量：数据分布算法在集群规模变化时会产生数据迁移。建议在容量规划时预留 20%~30% 的余量，避免扩容时因空间不足而无法完成迁移。
2.5 案例：检查点写入延迟突刺的根因定位
某 GPU 集群在每 10 分钟保存一次模型检查点时，观察到写入延迟从平均 80ms 突刺到 2.8s，且呈周期性。初步排查网络与磁盘均无异常。
进一步分析发现：检查点文件命名包含时间戳，且存储系统采用范围分区策略。所有最新检查点均写入同一组数据节点，导致该组节点的 NVMe SSD 写队列深度持续打满。同时，该组节点恰好位于同一机架，机架顶部交换机的上行带宽成为瓶颈。
解决方案分两步：
- 将检查点文件名前缀改为随机数（如
checkpoint-{random}-{timestamp}.pt），使数据均匀分布到所有节点。 - 调整 CRUSH 规则集，将副本故障域从主机级提升到机架级，避免同一机架承载全部副本。
调整后，写入延迟稳定在 90~110ms 区间，突刺消失。