第4章 分布式存储系统架构设计：元数据管理、数据分布策略、分片与再平衡、全局视图
本章聚焦分布式存储系统设计中四大核心维度，它们共同决定了系统的扩展性、一致性和运维效率。面试中常见题型为“请你设计一个分布式存储系统”，考察点就是这四个维度。以下回答框架帮助你结构化组织答案。
📌 面试问答卡片 1：元数据管理
面试问题：如何设计分布式存储系统的元数据管理方案？
面试官考察点：是否理解元数据一致性与性能的矛盾；能否对比中心化 vs 去中心化方案；是否考虑过热点问题。
回答框架：
① 明确规模与一致性需求；② 中心化方案（etcd/ZooKeeper）适合小规模，去中心化（DHT）适合大规模但牺牲强一致；③ 优化：分层元数据 + 本地缓存 + 批量写。
① 明确规模与一致性需求；② 中心化方案（etcd/ZooKeeper）适合小规模，去中心化（DHT）适合大规模但牺牲强一致；③ 优化：分层元数据 + 本地缓存 + 批量写。
简短示例回答：对于千亿级对象，采用去中心化元数据，使用Raft共识将元数据分片到多个节点，每个节点负责部分KeyRange。同时引入本地热点缓存，将频繁访问的元数据驻留内存，降低99线延迟。
可能追问：如何检测并缓解元数据热点？如果节点故障，元数据恢复策略是什么？
⚠️ 避坑提醒：不要只提单机方案，必须说明扩展性；不要忽略元数据持久化和一致性保证（如WAL）。
📌 面试问答卡片 2：数据分布策略
面试问题：一致性哈希如何用于数据分布？存在哪些问题及优化方法？
面试官考察点：是否理解环映射、虚拟节点；能否分析数据倾斜；是否知道再平衡影响范围。
回答框架：① 基本原理：数据Key与节点在环上顺时针匹配；② 问题：节点不均导致倾斜；③ 优化：引入虚拟节点（每个物理节点拥有多个虚拟节点），均匀分布；④ 再平衡仅影响相邻节点。
简短示例回答：采用一致性哈希，每个物理节点配置200个虚拟节点。新增节点时，只有其顺时针方向相邻节点的部分数据迁移，影响范围小。同时监控负载，动态调整虚拟节点权重。
可能追问：负载不均如何异步调整？如果节点数很少，一致性哈希的优势是否消失？
⚠️ 避坑提醒：不要忽略虚拟节点数量对性能的影响（过多增加路由表大小）；必须说明如何检测倾斜并进行调整。
📌 面试问答卡片 3：分片与再平衡
面试问题：请解释分片与再平衡机制，如何设计一个低影响的再平衡策略？
面试官考察点：是否理解分片粒度选择；能否设计可中断的迁移；是否考虑一致性模型。
回答框架：① 分片策略（固定大小 / 动态分裂）；② 再平衡触发（新增节点、负载阈值、手动）；③ 低影响策略：限速迁移 + 先复制后删除 + 新旧节点双写过渡。
简短示例回答：采用动态分片，每片上限256MB。再平衡时，从最忙节点选出分片，先复制到目标节点并同步追平，校验一致后再删除源分片。速率限制为每100ms迁移1个分片，避免IO抖动。
可能追问：迁移过程中客户端如何感知新分片位置？如果迁移中节点宕机怎么办？
⚠️ 避坑提醒：不要一次性触发大量分片迁移，必须引入Throttle；不要忘记更新元数据路由表；必须考虑数据校验。
📂 项目案例：海量对象存储系统（MegStore）
项目名称：MegStore 对象存储平台
业务背景：公有云场景下支撑多媒体文件、日志备份等海量小文件存储，平均对象大小1MB，预算成本敏感。
规模指标：1000亿对象，总容量10PB，500个存储节点，元数据集群30个节点。
技术栈：RocksDB（本地元数据）、etcd（集群协调）、gRPC（内部RPC）、一致性哈希+虚拟节点（数据分布）。
核心难点：元数据写入热点（高并发目录操作）、数据倾斜（部分节点负载300%）、再平衡期间可用性抖动。
面试高频追问：
1. 如何优化元数据写入？
2. 如何自动检测并修复热点分片？
3. 再平衡时如何不丢数据？
1. 如何优化元数据写入？
2. 如何自动检测并修复热点分片？
3. 再平衡时如何不丢数据？
可迁移回答话术：
“针对元数据热点，我们将热门目录映射到多个元数据分片，每个分片使用独立RocksDB实例，写前通过etcd协调分片所有权，写入时通过批量commit减少IO。数据分布方面，我们基于一致性哈希引入动态权重，定期采样各节点CPU/磁盘负载，当偏差超过20%时自动调整虚拟节点权重。再平衡迁移采用‘先复制后删除’模式，并在元数据中标记临时‘双写’状态，保证迁移期间读写一致。客户端通过周期性拉取全局路由表更新位置，迁移完成后异步清理旧数据。”
“针对元数据热点，我们将热门目录映射到多个元数据分片，每个分片使用独立RocksDB实例，写前通过etcd协调分片所有权，写入时通过批量commit减少IO。数据分布方面，我们基于一致性哈希引入动态权重，定期采样各节点CPU/磁盘负载，当偏差超过20%时自动调整虚拟节点权重。再平衡迁移采用‘先复制后删除’模式，并在元数据中标记临时‘双写’状态，保证迁移期间读写一致。客户端通过周期性拉取全局路由表更新位置，迁移完成后异步清理旧数据。”
💡 本章要点：面试时无需面面俱到，先点出四个维度（元数据、分布、分片、视图），然后针对提问展开。项目经验中一定要有真实数字和权衡，如“一致性哈希 500节点 虚拟节点200个 迁移限速100ms/片”。