📚 课程目录第3章网络拓扑基础

网络拓扑基础：常见拓扑类型（Fat-Tree、Torus、Hypercube）及其特点

核心原理：拓扑如何决定网络性能天花板

InfiniBand 网络的拓扑结构决定了任意两个节点之间的最短路径长度、可用路径多样性以及故障隔离域的划分方式。在 IB 网络中，拓扑不仅影响时延和带宽，还直接关系到子网管理器（Subnet Manager, SM）计算路由的复杂度。理解三种经典拓扑——Fat-Tree、Torus、Hypercube——是设计高性能计算集群的第一步。

三种拓扑的本质差异在于维度与对称性：Fat-Tree 是分层无阻塞结构，Torus 是环形扩展的多维网格，Hypercube 则是二进制维度折叠。它们各自对应不同的线缆成本、端口利用率和扩展策略。IB 交换机通常提供 36 或 48 个端口，因此拓扑设计必须考虑端口数的整数倍关系。

关键参数速查

对分带宽（Bisection Bandwidth）：将网络切成两半所需切断的链路总带宽，衡量网络拥塞上限。
直径（Diameter）：任意两节点间最短路径的最大跳数，决定最坏情况时延。
平均路径长度：所有节点对最短路径的平均跳数，影响整体时延。
路径多样性：任意两节点间可选的最短路径数量，决定容错与负载均衡能力。

Fat-Tree：分层无阻塞的经典之选

Fat-Tree（胖树）是 IB 集群中最常见的拓扑，尤其适用于全对全通信模式（如 MPI_Alltoall）。其核心思想是：越靠近根部的链路越“粗”（带宽越高），从而保证任何叶节点之间都能以全带宽通信。标准实现采用 k 元树结构：使用 k 端口交换机，分为核心层、聚合层和边缘层。

以 k=36 的交换机为例，构建两层 Fat-Tree 时，每个边缘交换机连接 18 台服务器，剩余 18 个上行端口连接聚合交换机；聚合交换机同样用 18 个下行端口连接边缘交换机，18 个上行端口连接核心交换机。这种设计使得下行与上行带宽相等，实现无阻塞。

# 两层 Fat-Tree 端口规划示例（k=36）
边缘交换机数量：18 台
聚合交换机数量：18 台
核心交换机数量：18 台（每台使用 18 端口）
总服务器节点：18 × 18 = 324 台
总交换机端口数：54 × 36 = 1944
有效数据端口：324（下行）+ 324（上行）= 648

Fat-Tree 的最大优势是路由简单：SM 只需计算从源到目的的最短路径，且所有最短路径长度相同。但代价是线缆数量庞大——每增加一层，线缆数量近似翻倍。实际部署中，超过两层后布线复杂度急剧上升，因此多数 IB 集群采用两层或三层结构。

Torus：低维度高扩展的网格变体

Torus（环面）拓扑将节点排列在多维网格中，并在每个维度首尾相连形成环。IB 规范中定义了 IBTA 的 Torus 拓扑，常见为 2D 或 3D Torus。例如，一个 4×4×4 的 3D Torus 包含 64 个交换机，每个交换机连接 6 个邻居（每个维度两个方向）。

Torus 的核心优势是线缆数量随节点数线性增长，适合超大规模系统（如 10 万节点以上）。但代价是直径随维度增长：3D Torus 的直径为 3×(N^(1/3)-1)/2，远大于同规模 Fat-Tree。此外，Torus 需要 SM 实现更复杂的路由算法（如维度顺序路由），且对链路故障更敏感——一条链路断裂可能导致局部绕行。

选型建议：若集群规模小于 2000 节点且通信模式以点对点为主，优先选择 Fat-Tree；若规模超过 5000 节点且能接受较高时延，Torus 的布线成本优势会逐渐显现。实际案例中，日本“富岳”（Fugaku）超算采用 6D Torus，而多数商用 IB 集群（如 NVIDIA DGX SuperPOD）采用 Fat-Tree。

Hypercube：高维折叠的数学之美

Hypercube（超立方体）将节点映射到 n 维二进制空间，每个节点有 n 个邻居，对应每个维度的一位翻转。一个 n 维超立方体包含 2^n 个节点，直径为 n，平均路径长度为 n/2。例如，4 维超立方体有 16 个节点，每个节点连接 4 个邻居。

Hypercube 的直径与节点数呈对数关系，理论上扩展性极佳。但实际 IB 部署中很少使用纯 Hypercube，原因在于：端口利用率低——每个交换机需要 n 个端口用于拓扑连接，剩余端口才用于服务器；且布线维度高，物理实现困难。不过，Hypercube 的思想常被用于虚拟拓扑设计或路由算法优化中。

案例：从理论到实际部署的选型考量

某科研机构需要构建一套 512 节点的 IB 集群，用于分子动力学模拟。该应用主要依赖点对点通信（MPI_Send/Recv）和周期性边界条件下的邻居交换。工程师对比了两种方案：

方案 A（两层 Fat-Tree）：使用 36 端口交换机，需 16 台边缘 + 16 台聚合 + 16 台核心，共 48 台交换机。线缆总数 512 条（服务器到边缘）+ 256 条（边缘到聚合）+ 256 条（聚合到核心）= 1024 条。最大时延约 2 跳。
方案 B（4×4×4 3D Torus）：需 64 台交换机（每个交换机连接 6 个邻居 + 8 台服务器），线缆总数 64×6/2 = 192 条（拓扑链路）+ 512 条（服务器链路）= 704 条。最大时延约 6 跳。

虽然方案 B 节省了约 30% 的线缆，但分子动力学模拟中长程力计算需要频繁的全对全通信，Fat-Tree 的低时延优势更为关键。最终该机构选择方案 A，实测应用性能提升约 18%。

误区与复盘：拓扑选型中的常见陷阱

误区一：盲目追求“无阻塞”。Fat-Tree 的无阻塞特性仅在均匀流量模式下成立。若流量集中在少数热点节点（如存储网关），实际吞吐可能远低于理论值。复盘建议：使用 ibdiagnet 工具在部署前模拟流量矩阵。

误区二：忽略 SM 路由计算开销。Torus 拓扑中，SM 需要计算维度顺序路由，当节点数超过 1 万时，路由表计算时间可能从秒级增长到分钟级。某超算中心曾因 SM 超时导致集群启动失败，最终通过分区管理（将 Torus 划分为多个逻辑子网）解决。

误区三：混淆“拓扑直径”与“实际时延”。Hypercube 虽然直径小，但每跳需要经过交换机内部交叉开关，实际时延可能高于跳数更多的 Torus。复盘经验：在选型时，应使用 ib_write_bw 实测点对点时延，而非仅看拓扑参数。

小结与实操建议

选择拓扑时，建议按以下流程决策：

统计应用的通信模式（点对点占比、集合通信频率、流量局部性）。
估算目标规模（交换机端口数、机架空间、功耗预算）。
使用 ibsim 或 ibtopo 工具模拟候选拓扑的平均时延与对分带宽。
考虑故障域：Fat-Tree 中核心交换机故障影响范围大，Torus 中单链路故障影响局部。
最终结合布线成本（光模块数量、线缆长度）与运维复杂度（SM 配置、故障定位难度）做出决策。

对于大多数中小型 IB 集群（<2000 节点），Fat-Tree 仍是兼顾性能与可维护性的首选；当规模突破 5000 节点且应用容忍较高