4. InfiniBand流控原理
InfiniBand（IB）网络之所以能在高负载下保持极低的丢包率，核心并不在于“检测丢包后重传”，而在于发送前先确认资源可用。这种机制被称为基于信用的流控（Credit-Based Flow Control）。理解信用机制，是后续进行流控参数调优的前提——如果只盯着计数器调阈值，却不明白信用如何产生、如何消耗、如何被死锁，往往事倍功半。
4.1 核心原理：信用不是“带宽配额”，而是“接收缓冲区槽位”
IB流控发生在物理链路的相邻两个端口之间，即发送端（Transmitter）与接收端（Receiver）直接相连的链路上。每个接收端口为对端发送端口维护一组接收缓冲区，这些缓冲区以固定大小的单元划分，每个单元称为一个信用（Credit）。发送端每发送一个数据包，就必须消耗一个信用；只有当发送端确认自己仍持有信用时，才允许继续发送。
关键点在于：信用不是由发送端自己生成的，而是由接收端通过“信用通告（Credit Advertisement）”主动授予的。接收端每释放一个缓冲区单元（即上层软件或DMA引擎取走了数据），就向对端发送一个信用更新消息，告知“我又多了一个可用槽位”。发送端维护一个“可用信用计数器”，每收到一个信用更新就加1，每发送一个包就减1。当计数器为0时，发送端必须停止发送，直到收到新的信用。
信用大小与MTU（最大传输单元）直接相关。IB链路层规定：一个信用对应一个MTU大小的数据量。例如，若链路MTU为4KB，则接收端每释放一个4KB的缓冲区，就向对端发送1个信用。若MTU为2KB，则同样大小的缓冲区池能提供更多信用数。这意味着MTU越小，相同物理缓冲区能支持的信用数越多，但每个包携带的有效载荷比例越低，两者需要权衡。
4.2 缓冲区管理：VL与信用池的划分
IB链路并非只有一个信用池，而是按照虚拟通道（VL，Virtual Lane）进行划分。每条物理链路默认支持1~15个VL（具体数量由链路初始化协商），每个VL拥有独立的信用池和独立的流控状态机。这样做的好处是：某个VL上的拥塞或暂停不会阻塞其他VL的流量，从而为不同服务等级（SL→VL映射）提供隔离。
缓冲区管理的关键参数包括：
- VL仲裁表（VL Arbitration Table）：决定各VL在物理链路上的带宽分配权重，影响信用消耗速度。
- 接收缓冲区大小（Receive Buffer Size）：每个VL可用的缓冲区总量，通常以KB为单位，由交换机/网卡固件配置。
- 信用通告阈值（Credit Update Threshold）：接收端累积释放多少个缓冲区槽位后才发送一次信用更新。阈值越小，信用更新越频繁，但控制开销越大；阈值越大，则可能延迟发送端的信用补充。
| 参数 | 典型值 | 影响 |
|---|---|---|
| MTU | 2KB / 4KB / 8KB | MTU越大，单包效率越高，但信用粒度越粗，缓冲区利用率下降 |
| VL数 | 2 / 4 / 8 / 15 | VL越多，隔离性越好，但每个VL分到的缓冲区越少 |
| 每VL缓冲区 | 64KB ~ 1MB | 缓冲区越大，容忍突发能力越强，但延迟增加 |
| 信用更新阈值 | 1 / 4 / 8 个信用 | 阈值越小，信用补充越及时，但控制消息占用带宽 |
4.3 流控帧格式：链路层数据包结构
IB链路层的数据包称为链路数据包（Link Packet），其基本格式如下：
+----------------+----------------+----------------+----------------+
| LRH (8B) | GRH (0/40B) | BTH (12B) | Payload |
| Local Route | Global Route | Base Transport| (0-4KB) |
| Header | Header(可选) | Header | |
+----------------+----------------+----------------+----------------+
| ICRC (4B) | VCRC (2B) | Delimiter |
| Invariant | Variant | (1B) |
| CRC | CRC | |
+----------------+----------------+----------------+其中与流控直接相关的字段位于LRH（Local Route Header）中：
- VL（4位）：标识该包属于哪个虚拟通道，接收端据此将包放入对应VL的缓冲区。
- LVer（4位）：链路版本号，通常为0。
- SL（4位）：服务等级，用于交换机内部的仲裁和路由决策。
- LNH（2位）：指示下一个头是BTH还是GRH。
- DLID / SLID（16位）：目的/源本地ID，用于交换机转发。
而信用更新消息并不使用普通数据包格式，而是通过链路层的流控符号（Flow Control Symbol）带内传输。这些符号在物理层编码中预留，不占用数据包带宽。每个流控符号包含：
+----------------+----------------+----------------+
| Opcode (4bit) | VL (4bit) | Credit (8bit) |
| 0x1 = 信用更新 | 目标VL编号 | 新增信用数 |
+----------------+----------------+----------------+这种设计使得信用更新几乎零开销，但也意味着信用更新无法被上层软件直接观测——只能通过计数器间接推断。
4.4 典型场景：为什么“大缓冲区”不一定更好？
某高性能计算集群在运行HPCG基准测试时，发现跨交换机通信延迟异常升高。工程师检查了交换机的信用计数器，发现信用暂停（Credit Stall）事件频繁发生，但物理链路利用率并不高。
进一步排查发现：
- 该交换机每个VL分配了1MB缓冲区，MTU设为8KB，即每个VL有128个信用。
- 由于MTU较大，每个信用对应8KB，接收端需要较长时间才能填满/释放一个缓冲区槽位。
- 当多个发送端同时向同一接收端发送时，接收端的缓冲区被快速占满，但信用更新消息的触发阈值设置过高（累积8个信用才发送一次），导致发送端无法及时获得新信用。
解决方案：将MTU从8KB降为4KB，并将信用更新阈值从8改为2。调整后，信用粒度变小，更新频率提高，信用暂停事件减少了约70%，延迟恢复至正常水平。
4.5 误区与复盘：三个常见错误认知
误区二：混淆“信用暂停”与“拥塞”。信用暂停是流控机制正常工作的表现，说明接收端缓冲区已满。但频繁的信用暂停可能由两种原因引起：一是真正的下游拥塞（需要调整路由或仲裁），二是信用更新阈值设置不当（需要调整参数）。排查时应先查看credit_stall计数器的持续时间分布，若暂停时间极短（微秒级），则多为阈值问题；若暂停时间较长，则可能是拥塞。
误区三：忽略VL间的相互作用。虽然VL提供了隔离，但物理链路的总带宽是共享的。如果某个VL的仲裁权重过高，可能挤占其他VL的发送机会，导致其他VL的信用消耗变慢，进而引发“虚假的信用不足”。调优时需同时检查VL仲裁表和信用计数器。
复盘一次实际故障：某存储集群使用IB双端口网卡，两个端口分别连接两台交换机。运维人员发现其中一个端口的发送吞吐量始终只有另一个的60%，但链路无报错。检查perftest结果和交换机计数器后，发现该端口对应的VL15（通常用于管理流量）被错误地配置了极高的仲裁权重，导致数据VL的发送机会被大量抢占。修正仲裁表后，吞吐量恢复正常。这说明流控调优不能只看信用参数本身，还要关注VL仲裁、SL映射等关联配置。