4. 路由基础

4.1 路由的本质：从“直连可达”到“跨网转发”

在讨论 InfiniBand（IB）路由之前，必须先厘清一个基础概念：路由（Routing） 与 交换（Switching） 的根本差异。交换发生在同一子网（Subnet）内部，依据的是二层地址（如以太网的 MAC 或 IB 的 LID）；而路由发生在不同子网之间，依据的是三层地址（如 IP 或 IB 的 GID）。

IB 网络中的“子网”由一台或多台交换机、以及连接其上的所有端节点（HCA、交换机管理端口）构成。子网内部通过 子网管理器（Subnet Manager, SM） 统一分配 16 位的本地标识符 LID，数据包在子网内依靠 LID 进行转发，这一过程称为“交换”。当数据包需要跨越子网边界，到达另一个 IB 子网或外部网络时，就必须引入 三层路由，此时数据包携带的是 128 位的 GID（Global ID），它由 64 位子网前缀（Subnet Prefix）和 64 位端口 GUID 拼接而成。

4.2 IB 路由与以太网路由的核心差异

虽然 IB 路由与以太网 IP 路由在“跨网转发”这一抽象层面相似，但具体机制差异巨大。理解这些差异，是配置 IB 多子网组网的前提。

4.3 IB 路由的工作原理与转发流程

IB 路由的转发流程可以概括为以下步骤：

1. GID 配置：每个 HCA 端口在子网初始化时，由 SM 分配一个 LID，并通告其端口 GUID。若需跨子网通信，SM 还会为端口配置一个全局唯一的 GID（子网前缀 + 端口 GUID）。
2. 路径查询：发送端 HCA 在发起通信前，通过 路径记录查询（Path Record Query） 向 SM 请求到达目的 GID 的路径信息。SM 返回一条完整的端到端路径，包括每一跳的 LID 和输出端口。
3. 数据包封装：发送端构造数据包，依次添加 LRH（携带下一跳 LID）、GRH（携带源/目的 GID）、以及传输层头（BTH/ETH 等）。
4. 逐跳转发：数据包到达子网边界路由器时，路由器读取 GRH 中的目的子网前缀，查询本地转发表，确定输出端口，并重写 LRH 中的 LID 为下一跳的 LID，然后转发到相邻子网。
5. 最终交付：数据包到达目的子网后，由目的交换机根据 LRH 中的 LID 将数据包交付给目标 HCA。

# 查看 IB 路由转发表（Linux 下使用 ibroute 工具）
# 该命令查询交换机 16 的转发表，显示每个 LID 对应的输出端口
$ ibroute -n 16
# 输出示例（简化）：
# Lid 1: port 1
# Lid 2: port 2
# Lid 32: port 3   <-- 到达路由器端口
# Lid 33: port 3   <-- 到达路由器另一端口

4.4 案例：双 IB 子网通过路由器互联

假设某数据中心有两个 IB 子网：子网 A（前缀 0xFE80000000000000A）和 子网 B（前缀 0xFE80000000000000B），通过一台 IB 路由器连接。子网 A 中的节点 HCA A1（GID 为 ...A:1）需要与子网 B 中的 HCA B1（GID 为 ...B:1）通信。

通信过程如下：

• HCA A1 向 SM A 发起路径查询，请求到达 GID ...B:1 的路径。SM A 发现目的子网前缀与本地不同，于是返回路径：HCA A1 → 交换机 A → 路由器端口1 → 路由器端口2 → 交换机 B → HCA B1。
• HCA A1 构造数据包，LRH 的目的 LID 设为路由器端口1 的 LID（32），GRH 中源 GID 为 ...A:1，目的 GID 为 ...B:1。
• 路由器收到数据包后，检查 GRH 中的目的子网前缀 0x...B，查询转发表，确定应从端口2 发出。路由器重写 LRH，将目的 LID 改为交换机 B 的 LID（16），然后从端口2 转发。
• 交换机 B 收到数据包后，根据 LRH 中的 LID 16 将数据包转发到 HCA B1 所在端口。

4.5 误区与复盘：IB 路由中的常见陷阱

在实际部署中，工程师容易在以下环节犯错：