通信拓扑基础：点对点、交换机、Fat-Tree、Torus等拓扑结构及特点
核心原理：拓扑如何决定通信性能
在InfiniBand网络中，拓扑结构决定了节点之间如何物理连接，以及数据包从源端到目的端需要经过多少跳数（hop）。跳数直接影响端到端时延、聚合带宽和网络成本。理解拓扑，本质上是理解“连接关系”与“路由自由度”之间的权衡。
最基本的构建单元是点对点链路——两台设备通过一条InfiniBand链路直接相连。单条链路提供双向各自独立的带宽（如EDR 100Gb/s、HDR 200Gb/s）。然而，实际集群中成百上千个节点不可能全部两两直连，因此需要引入交换机（Switch）作为中间转发设备。交换机将多条链路汇聚在一起，形成多对多的通信网络。
拓扑的数学本质是一个图：节点（计算/存储端）和交换机是图的顶点，链路是边。路由算法负责在图中寻找从源到目的的有效路径。不同拓扑的度（degree，每个交换机连接的端口数）、直径（diameter，任意两点间最大最短跳数）和对分带宽（bisection bandwidth）差异巨大，这决定了网络的扩展性和容错能力。
典型拓扑详解与选型方法
1. 点对点与单层交换机
点对点连接仅用于两个设备（如两台服务器直连或服务器与存储直连）。在真实集群中，更常见的是单层交换机拓扑——所有计算节点连接到一台或多台（但未互联）交换机上。这种拓扑的优点是部署简单、时延低（通常2跳），但受限于交换机端口数量，且一旦交换机故障，其下所有节点失联。它适用于少于100个节点的小型GPU集群或存储测试环境。
2. Fat-Tree（胖树）
Fat-Tree是当前高性能计算集群最主流的拓扑。其核心思想是：越靠近网络核心，链路带宽越宽（或链路数量越多），从而保证任意叶子节点之间都能获得接近满带宽的对分带宽。以常用的2元组（leaf-spine）结构为例：
- 叶子层（Leaf）：直接连接计算节点，通常使用36或64端口交换机。
- 汇聚层（Spine）：仅连接叶子交换机，不直接连接计算节点。
- 每个叶子交换机通过多条上行链路连接到不同的汇聚交换机，形成多路径。
Fat-Tree的数学特征是：对于k元组（每个交换机有k个端口），可支持k³/4个计算节点（当k为偶数时）。例如，使用36端口交换机搭建2层Fat-Tree，理论上可支持36³/4 = 11,664个节点。实际部署中，由于端口被上行链路占用，可用节点数会减少。
选型要点：Fat-Tree适合需要高对分带宽、低时延、易于路由的通用HPC和AI训练集群。其最大优势是任意节点间跳数相等（如2层Fat-Tree任意叶子间跳数为4），使得通信时延可预测。缺点是交换机数量多、布线成本高。
3. Torus（环面/网格）
Torus拓扑将节点排列成N维网格，并在每个维度首尾相连形成环。例如，2D Torus可视为一个“甜甜圈”表面，3D Torus则类似魔方内部结构。每个节点仅与相邻节点连接，不需要中心交换机。
以3D Torus为例，每个节点有6个邻居（X+、X-、Y+、Y-、Z+、Z-）。数据包通过维度顺序路由（如先沿X轴，再沿Y轴，最后沿Z轴）从源到达目的。Torus的直径随节点数增长而增长（如N个节点的3D Torus直径约为N^(1/3)），因此大规模下时延高于Fat-Tree。
| 拓扑类型 | 典型规模 | 跳数（直径） | 对分带宽 | 布线成本 | 典型应用 |
|---|---|---|---|---|---|
| 点对点 | 2节点 | 1 | 100% | 极低 | 存储直连、测试 |
| 单层交换机 | ≤ 数百节点 | 2 | 受限于上行 | 低 | 小规模GPU集群 |
| Fat-Tree | 数千～数万 | 4～6（固定） | 接近100% | 高（交换机多） | HPC、AI训练（主流） |
| 3D Torus | 数万～数十万 | 随规模增长 | 较低（约1/3） | 低（无中心交换） | 定制超算（如IBM Blue Gene） |
案例：AI训练集群的拓扑选型
假设需要搭建一个包含512块GPU（即128台双卡服务器）的AI训练集群，用于大语言模型训练。训练过程中，AllReduce通信频繁，对网络带宽和时延极其敏感。
方案对比：
- 方案A：单层交换机——需要一台128端口的交换机（如InfiniBand 128端口HDR交换机）。虽然跳数仅2，但单台交换机故障将导致整个集群瘫痪，且无法扩展。
- 方案B：2层Fat-Tree——使用16台32端口交换机（8台叶子+8台汇聚）。每台叶子连接16台服务器，上行8条链路到汇聚。该方案提供8:1收敛比（若上行带宽不足则为阻塞式），但可通过增加上行链路实现1:1无阻塞。实际中，AI集群通常要求无阻塞（1:1收敛），因此需要每台叶子交换机用16个端口上行、16个端口下行。
- 方案C：2D Torus——将128台服务器排列成16×8的网格。每台服务器需要额外2个端口用于网格连接（若服务器只有1个HDR端口，则需增加交换机）。Torus的跳数最多可达16+8=24跳，对于AllReduce这种全局通信，时延会显著增加。
实际部署中，绝大多数AI集群选择Fat-Tree，因为其等跳数特性使得AllReduce的通信模式高度可预测，且自适应路由（如InfiniBand的AR）能在多路径间动态负载均衡，避免拥塞。
误区与复盘：拓扑选择中的常见陷阱
误区1：认为“端口越多越好”。高端口交换机（如64端口）虽然能减少交换机数量，但单台故障影响范围更大。且高端口交换机通常价格昂贵，性价比不一定优于多台小端口交换机组成的Fat-Tree。
误区2：忽略收敛比。某些方案宣称“支持1000节点”，但上行链路带宽不足，实际对分带宽可能只有理论值的1/4。在AI训练中，这会导致通信瓶颈，GPU利用率大幅下降。务必计算收敛比（上行带宽/下行带宽），1:1为无阻塞，低于1:1则为阻塞式。
复盘建议：在规划拓扑时，先明确通信模式——是点对点流量多（如传统HPC模拟）还是全局集合通信多（如AI训练）？前者可考虑Torus或低收敛比Fat-Tree，后者必须使用高对分带宽的Fat-Tree。同时，务必使用子网管理器（Subnet Manager）的仿真工具（如ibsim）验证拓扑的路由和故障切换行为，再投入物理布线。
最后需要强调的是，拓扑并非越复杂越好。对于大多数中小规模集群（<200节点），单层交换机或简单的2层Fat-Tree已能提供极佳性能；只有超大规模（>5000节点）或特殊功耗约束下，才需要认真评估Torus等低布线成本拓扑。理解每种拓扑的跳数分布、对分带宽和故障域，是做出正确选型的基础。