InfiniBand概述：架构、物理层规范与链路速率演进
2.1 InfiniBand架构简介
InfiniBand（IB）是一种面向高性能计算（HPC）和企业级数据中心的交换式互连网络技术。与传统的以太网“共享介质、逐跳转发”模型不同，IB从设计之初就采用通道适配器（Channel Adapter）加子网管理器（Subnet Manager）的集中式管理架构，强调低时延、高带宽和可靠的端到端传输。
IB网络的物理拓扑通常为胖树（Fat-Tree）或Torus结构，核心组件包括：
- 主机通道适配器（HCA，Host Channel Adapter）：位于服务器侧，将PCIe总线数据转换为IB链路报文。
- 目标通道适配器（TCA，Target Channel Adapter）：用于存储或I/O设备侧接入。
- IB交换机（Switch）：根据LID（Local Identifier）进行二层转发，不参与路由计算。
- IB路由器（Router）：连接不同IB子网，基于GID（Global Identifier）工作。
- 子网管理器（SM）：负责链路状态发现、路径计算和LID分配，通常运行在交换机或专用管理节点上。
IB的协议分层模型与OSI参考模型存在对应关系，其中物理层（Physical Layer）位于最底层，负责比特流的传输、链路训练、时钟恢复和电气特性管理。物理层之上依次为链路层（Link Layer）、网络层（Network Layer）、传输层（Transport Layer）以及上层协议（如RDMA、IPoIB等）。
2.2 物理层规范详解
IB物理层规范定义了从连接器引脚到链路激活的全部行为。物理层进一步细分为三个子层：
- 电气子层（Electrical Sublayer）：定义差分信号电压摆幅、共模电压范围、阻抗要求（通常为100Ω差分阻抗）、眼图模板以及抖动容限。IB采用交流耦合方式，链路两端通过电容隔离直流分量。
- 编码子层（Coding Sublayer）：负责将上层数据流转换为适合在物理介质上传输的码型。早期速率（SDR/DDR/QDR）采用8b/10b编码，保证DC平衡并提供足够的跳变沿用于时钟恢复；从FDR开始改用64b/66b编码，编码开销从25%降至约3%，同时配合RS-FEC（Reed-Solomon前向纠错）提升信号完整性。
- 链路训练子层（Link Training Sublayer）：负责上电后的链路初始化，包括发送训练序列（TS1/TS2）、协商速率、调整发射均衡器参数、检测接收端信号质量，最终进入LINK_UP状态。
ibstat 或 ibstatus 查看物理层状态。若显示 LinkUp: yes 但 Rate: 40（QDR），说明物理层训练成功；若显示 LinkUp: no，则需检查光模块、线缆和端口配置。
2.3 链路速率演进与编码变化
IB链路速率经历了从SDR到NDR的七代演进，每一代都在信号速率和编码效率上做出关键调整。下表汇总了各代速率的核心参数：
| 速率代际 | 单通道信号速率 | 编码方式 | 有效数据速率（4X） | 典型应用 |
|---|---|---|---|---|
| SDR | 2.5 Gb/s | 8b/10b | 10 Gb/s | 早期IB 4X |
| DDR | 5 Gb/s | 8b/10b | 20 Gb/s | IB 4X DDR |
| QDR | 10 Gb/s | 8b/10b | 40 Gb/s | HPC集群常见 |
| FDR | 14.0625 Gb/s | 64b/66b | 56 Gb/s | FDR10/FDR |
| EDR | 25 Gb/s | 64b/66b + RS-FEC | 100 Gb/s | EDR 4X |
| HDR | 50 Gb/s | 64b/66b + RS-FEC | 200 Gb/s | HDR 4X（主流） |
| NDR | 100 Gb/s | 64b/66b + 更强FEC | 400 Gb/s | 下一代HPC |
从表中可以清晰看到两个关键转折点：
- QDR→FDR：编码方式从8b/10b切换为64b/66b，有效带宽提升约23%，但同时也对信号质量提出了更高要求，因此FDR开始引入发射均衡（TX EQ）和接收均衡（RX CTLE/DFE）。
- FDR→EDR：信号速率接近25 Gb/s后，单纯依靠均衡已不足以应对信道损耗，因此引入RS-FEC（RS(544,514)），能够纠正最多15个符号错误，显著降低误码率（BER）至1E-15以下。
2.4 案例：HDR链路物理层初始化流程
以Mellanox（现NVIDIA）ConnectX-6 HDR网卡为例，物理层初始化过程如下：
1. 端口上电，PHY进入Reset状态
2. 发送端开始发送TS1训练序列（含速率协商字段）
3. 接收端检测到TS1后，回复TS2序列
4. 双方交换均衡器系数（TX_EQ_PRE / MAIN / POST）
5. 链路速率锁定为 HDR（50 Gb/s per lane）
6. 运行RS-FEC 同步（检测FEC帧边界）
7. 进入LINK_UP，上报 ibstat 显示 Rate: HDR
实际部署中，若光模块或线缆质量不佳，步骤4可能反复重试，表现为ibstat中State: Training持续数秒甚至超时。此时应检查光模块的光功率（使用 mst 和 mlxlink 工具）以及线缆的插入损耗是否符合IBTA规范。
2.5 常见误区与复盘
实际上，从QDR（10 Gb/s）到FDR（14.0625 Gb/s）并非整数倍关系，且编码开销从8b/10b的25%降至64b/66b的约3%，因此有效带宽提升并非简单的速率比值。计算有效带宽时必须考虑编码效率。
RS-FEC虽然大幅降低了误码率，但引入了额外的处理时延（约数十纳秒）。对于超低时延场景（如金融高频交易），需要权衡是否启用FEC。部分交换机支持动态FEC配置，可在链路质量较好时关闭FEC以降低时延。
复盘总结：在IB物理层的学习中，应始终抓住“速率-编码-信号完整性”三者之间的平衡关系。高速率需要更高效的编码，但高效编码对信道噪声更敏感，因此又需要更复杂的均衡和FEC机制。理解这一演进逻辑，就能自然掌握SDR到NDR各代际的技术特征，也为后续学习链路层和RDMA协议打下扎实基础。