📚 课程目录第3章链路层基础

3. 链路层基础：物理层与链路层接口、链路初始化、链路状态机

3.1 物理层与链路层的职责划分及接口

InfiniBand 采用分层协议架构，其中物理层（Physical Layer）与链路层（Link Layer）的边界清晰，但二者通过明确的接口协同工作。物理层负责比特的传输、信号调理、串并转换以及电气特性管理；链路层则负责数据包的组帧、流控、错误检测以及链路级的状态管理。理解二者接口是掌握链路初始化流程的前提。

在 InfiniBand 规范中，物理层与链路层之间的接口并非软件 API，而是硬件逻辑上的信号组。核心接口信号包括：

Tx_Data / Rx_Data：并行数据总线，通常为 16 位或 32 位宽，承载待发送或已接收的原始数据。
Tx_Byte_Enable / Rx_Byte_Enable：指示当前数据总线上有效字节的掩码信号。
Tx_Init_State / Rx_Init_State：物理层向链路层上报当前链路训练状态（如 Polling、Training、LinkUp）。
Tx_Symbol / Rx_Symbol：用于传递 8B/10B 编码前的控制符号（如 SKP、FECN、BECN）。
Signal_Detect：物理层接收端检测到有效信号后置位，供链路层判断对端是否在线。

下图展示了物理层与链路层的接口关系以及链路初始化过程中状态迁移的核心路径：

3.2 链路初始化流程

链路初始化是端口从复位或上电状态开始，经过一系列握手与训练，最终进入可正常收发数据包状态的过程。该过程由硬件自动完成，但软件可通过 MAD（管理数据报）查询或干预。初始化流程可归纳为以下四个阶段：

物理层就绪：本地端口完成 PLL 锁定、串并转换器校准，并开始发送训练序列。
信号检测与轮询：端口进入 Polling 状态，持续发送轮询报文并监听对端信号。若检测到有效信号，则进入 Training 状态。
链路训练：双方交换训练报文，协商链路宽度（1X/4X/8X/12X）、速率（SDR/DDR/QDR/FDR/EDR 等）以及极性反转校正。此阶段还包含 TS1/TS2 有序集的交换。
链路确认与激活：训练成功后进入 LinkUp 状态，此时链路层开始发送空闲报文（Idle Packets），并等待子网管理器（SM）完成 LID 分配和路由配置。

在 InfiniBand 中，链路初始化还涉及一个关键概念——链路宽度协商。例如，一个 4X 端口与一个 1X 端口互连时，双方必须通过训练序列确定以 1X 模式工作。该协商过程在 Training 状态中完成，具体通过比较双方发送的宽度能力字段实现。

关键参数速查表

参数	典型值	说明
链路速率	2.5 Gb/s (SDR) ~ 100 Gb/s (NDR)	每通道速率，多通道并行
链路宽度	1X / 4X / 8X / 12X	并行通道数
训练序列	TS1 / TS2	包含能力协商字段
空闲报文	0x00 填充	维持链路同步
信号丢失阈值	约 100 mV 差分	低于此值判定信号丢失

3.3 链路状态机详解

链路状态机是链路层中最重要的控制逻辑，它定义了端口在不同阶段的行为。InfiniBand 的链路状态机与 PCIe 的 LTSSM 有相似之处，但状态定义和迁移条件不同。核心状态包括：

Disabled：端口不发送任何信号，等待软件配置或硬件使能。
Polling：端口主动发送轮询报文，尝试探测对端。若在超时时间内未检测到信号，则回到 Disabled 或周期性重试。
Training：双方已检测到信号，开始交换训练序列。此状态包含多个子状态，如 ConfigTrain（配置训练）和 TSBert（误码率测试）。
LinkUp：链路完全就绪，可以收发数据包。此时链路层开始处理 VL 仲裁和流控。

状态迁移由硬件事件触发，例如：

// 伪代码描述状态迁移逻辑
state = Disabled;
while (1) {
  switch (state) {
    case Disabled:
      if (port_enable) state = Polling;
      break;
    case Polling:
      if (signal_detect) state = Training;
      else if (timeout) state = Disabled;
      break;
    case Training:
      if (training_complete) state = LinkUp;
      else if (signal_lost) state = Polling;
      break;
    case LinkUp:
      if (signal_lost || crc_error_count > threshold) state = Polling;
      break;
  }
}

3.4 典型场景：链路初始化失败排查

在实际部署中，链路初始化失败是常见的故障类型。以下是一个典型的排查案例：

场景描述：某数据中心使用 InfiniBand HDR（200 Gb/s）交换机连接服务器，服务器端 HCA 指示灯不亮，链路无法建立。

排查步骤：

使用 ibstat 命令查看端口状态，发现端口处于 Polling 状态而非 Active。
检查物理连接：更换光模块和线缆后状态依旧。
使用 iblinkinfo 查看对端交换机端口，发现交换机端口处于 Training 状态。
进一步检查发现，交换机端口配置为 1X 宽度，而 HCA 端口强制为 4X 宽度，导致协商失败。
将交换机端口宽度改为自动协商（Auto），链路成功建立。

误区提醒：不要将链路状态机的 Polling 状态误认为故障。Polling 是正常初始化过程的一部分，只有长时间停留在 Polling 或反复回退到 Disabled 才需要介入排查。此外，链路宽度不匹配是初始化失败的常见原因，务必检查两端端口的宽度配置。

3.5 链路层与物理层协同的常见误区

在理解链路层基础时，工程师常陷入以下误区：

误区一：认为链路层只处理数据包。实际上，链路层还负责链路的建立和维护，包括发送空闲报文以维持同步。
误区二：混淆信号检测与链路训练。信号检测只是物理层判断对端是否存在，而链路训练涉及更复杂的参数协商。
误区三：忽略链路状态机与上层软件的交互。例如，子网管理器（SM）在链路进入 LinkUp 后才开始 LID 分配，若链路状态不稳定，SM 会反复重试。

正确理解物理层与链路层的接口关系，以及链路状态机的迁移逻辑，是进行 InfiniBand 网络运维和故障排查的基础。通过掌握本节内容，读者应能独立分析链路初始化过程中的异常现象，并定位到具体的状态或参数问题。