网络与通信：数据中心网络拓扑、RDMA、TCP/IP、网络分区与故障处理
核心原理：存储网络的分层模型与关键路径
分布式存储系统的每一个读写请求，本质上都是一次跨节点的数据搬运。理解网络，首先要建立分层视角：物理网络决定带宽与延迟的物理上限，传输协议决定数据搬运的效率与可靠性，而存储协议（如NVMe-oF、iSCSI）则负责将块、文件或对象语义映射到传输层之上。三者叠加，构成了存储网络的完整栈。
在物理层，现代数据中心普遍采用Spine-Leaf（脊-叶）无阻塞拓扑，取代传统的三层树形结构。Spine-Leaf的核心价值在于：任意两台Leaf交换机之间的路径跳数固定为2跳（Leaf→Spine→Leaf），且通过ECMP（等价多路径）实现南北向与东西向流量的负载均衡。对于分布式存储而言，这意味着节点间通信延迟可预测，且横向扩展时无需改动物理布线。
在传输层，TCP/IP 与 RDMA 的取舍是存储网络设计的核心决策。TCP/IP 的优势在于生态成熟、兼容性好、拥塞控制算法经过大规模验证，但其数据路径经过内核协议栈，存在多次内存拷贝和上下文切换，延迟通常在数十微秒量级。RDMA（远程直接内存访问）则允许网卡直接读写对端内存，绕过内核与CPU参与，单次往返延迟可低至1~2微秒，CPU占用率几乎为零。下表对比了两种方案在存储场景下的关键差异：
| 对比维度 | TCP/IP（传统以太网） | RDMA（RoCEv2 / InfiniBand） |
|---|---|---|
| 端到端延迟 | 20~50μs（受内核协议栈影响） | 1~3μs（内核旁路） |
| CPU 占用 | 高（中断处理 + 内存拷贝） | 极低（网卡硬件卸载） |
| 拥塞控制 | 成熟（CUBIC / BBR） | 依赖 DCQCN / 显式拥塞通知（ECN） |
| 适用场景 | 混合负载、跨数据中心、管理面 | 高性能块存储、NVMe-oF、AI训练 |
| 部署复杂度 | 低，即插即用 | 高（需无损网络、PFC/ECN调优） |
方法流程：RDMA 无损网络的配置与调优路径
RDMA 并非简单“插卡即用”，其性能高度依赖底层以太网的无损特性。RoCEv2 依赖 PFC（优先级流控）和 ECN（显式拥塞通知）来模拟 InfiniBand 的可靠传输。若配置不当，PFC 风暴或缓冲区死锁反而会导致网络瘫痪。以下是生产环境的标准调优流程：
- 网络规划：为 RoCE 流量规划独立 VLAN 或专用物理网络，避免与普通 TCP 流量混跑导致拥塞。
- 交换机配置：启用 PFC（通常为 802.1p 优先级 3），设置合理的缓冲区阈值；启用 ECN（标记阈值为 100~200KB）。
- 网卡与驱动调优：设置
traffic_class、mtu=4096（巨型帧）、tx/rx queue深度。 - 验证连通性：使用
ib_write_bw或perftest工具测试带宽与延迟。
# 查看 RoCE 网卡状态（Mellanox/NVIDIA 网卡）
rdma link show
# 输出示例：link roce2/1 state ACTIVE physical_state LINK_UP
# 测试点对点带宽（服务端先启动）
ib_write_bw -d mlx5_0 -x 3 -F 192.168.1.10
# 客户端执行
ib_write_bw -d mlx5_0 -x 3 -F 192.168.1.10 --report_gbits
# 检查 PFC 计数器（交换机侧）
show interface priority-flow-control counters调优的核心指标是零丢包。一旦发生丢包，RoCE 的重传机制会触发指数退避，性能断崖式下降。因此，必须持续监控交换机的 discard 计数器和网卡的 rx_dropped 统计。
案例/场景：三副本写入跨机柜故障注入
某分布式块存储集群采用 3 副本策略，每个节点的两个网口分别连接不同 Leaf 交换机。当对存储节点进行例行维护时，运维人员意外同时拔掉了节点 A 的两根网线（而非计划中的单根）。此时，该节点上的主副本立即失联，集群需要快速完成以下动作：
- 故障检测：存储节点之间的心跳超时阈值通常为 1~2 秒（基于 TCP keepalive 或 RDMA CM 事件）。
- 副本重建：控制器检测到副本数降为 2，立即在其他健康节点上创建新副本，数据从剩余副本同步。
- 网络恢复：节点 A 重新接入网络后，网卡链路聚合（LACP）重新协商，存储服务自动重新注册。
误区/复盘：网络分区与“脑裂”的深层原因
网络分区（Network Partition）是分布式系统最棘手的故障之一。当节点间心跳全部中断，但节点自身仍在运行，每个分区都可能认为自己是“唯一存活”的，从而争抢资源或同时写入数据，造成脑裂。常见的误区包括：
- 误区一：认为 TCP 长连接不会同时断开。实际上，交换机电源故障、光纤被挖断、广播风暴都可能导致所有连接同时中断。
- 误区二：依赖心跳超时来区分“分区”与“节点宕机”。如果节点因 CPU 饥饿或磁盘 I/O 卡死而无法响应心跳，但网络仍然通畅，此时若另一分区触发主节点切换，就会产生双主。
- 误区三：忽略仲裁节点（Quorum）的重要性。在偶数节点集群中，网络分区后可能出现 2+2 的对等分裂，任何一方都无法获得多数派，导致服务完全不可用。
正确的处理策略是引入独立仲裁机制，例如 ZooKeeper/etcd 或专用的仲裁盘。仲裁节点不参与数据读写，仅用于投票。当发生分区时，只有获得多数票（超过总票数一半）的分区才能继续提供服务，少数派分区则主动降级为只读或停止服务，从而避免脑裂。
最后，网络故障处理应遵循“先恢复，再定位”的原则。当检测到分区时，首要动作是确保数据面安全（暂停写入或切换至多数派），而非立即排查根因。通过监控系统中的丢包计数、PFC 暂停帧计数、RoCE 重传计数，结合交换机的 show logging 与网卡的 ethtool -S 统计，才能快速定位是硬件故障、配置错误还是拥塞导致的问题。