4. RoCE拥塞管理机制
核心原理：从“丢包即拥塞”到“标记即拥塞”
传统TCP网络通过丢包来感知拥塞，但RoCEv2依赖无损传输，不允许随意丢包。因此，RoCE拥塞管理必须转向主动标记与逐跳反馈的闭环控制。整个体系由三个层次构成：端到端拥塞控制（DCQCN）、网络中间节点标记（ECN）以及链路级流控（PFC）。三者并非并列关系，而是形成“先ECN标记→再DCQCN降速→最后PFC兜底”的递进防线。
DCQCN（Data Center Quantized Congestion Notification）是RoCEv2最核心的拥塞控制协议，它借鉴了QCN（Quantized Congestion Notification）的思路，但针对以太网和RoCEv2做了适配。其核心思想是：交换机检测到队列长度超过阈值后，对报文打上ECN标记（CE码点）；接收端收到CE标记后，周期性向发送端回复CNP（Congestion Notification Packet）通知报文；发送端收到CNP后，按比例降低发送速率，并通过定时器逐步恢复速率。整个过程不需要交换机直接向发送端发消息，而是借助接收端“中转”，从而避免交换机维护大量Per-flow状态。
| 参数 | 典型值 | 作用 |
|---|---|---|
| Kmin / Kmax | Kmin=100~200KB，Kmax=300~500KB | 交换机ECN标记阈值，Kmin以下不标记，Kmax以上全标记 |
| PMax | 10%~30% | Kmax处的最大标记概率 |
| α（Alpha） | 初始值1，范围[0, 1] | 发送端速率调节因子，乘性减小 |
| Gd / Gi | Gd=1/128，Gi=1/1024 | 快速恢复和慢速恢复的增量步长 |
| CNP周期 | 每报文或每50μs | 接收端发送CNP的最小间隔 |
DCQCN工作流程：五步闭环
DCQCN的完整流程可以拆解为五个步骤，每一步都对应明确的硬件或软件行为。理解这个流程，是配置和调优RoCE网络的基础。
- 拥塞检测与标记：交换机出口队列长度超过Kmin时，对符合条件的数据报文打上ECN CE标记（将IP头中ECT码点置为CE）。队列越长，标记概率越高，直到Kmax时达到PMax。
- 接收端反馈：NIC收到带CE标记的报文后，并不立即回复，而是等待一个短周期（通常为报文间隔或定时器），然后向发送端发送CNP报文。CNP是以太网二层报文，携带发送端QP号和L3信息，优先级与触发拥塞的流一致。
- 发送端降速：发送端NIC收到CNP后，将当前速率乘以因子（1-α/2），α初始为1，每次收到CNP后α翻倍（最大到1），实现快速收敛。
- 速率恢复：若在固定时间（如15μs）内未收到新的CNP，发送端进入快速恢复阶段，每Gd周期增加一次速率；若长时间无拥塞，则进入慢速恢复阶段，每Gi周期增加一次速率，直到恢复初始速率。
- PFC兜底：若DCQCN未能及时抑制流量，交换机队列继续增长至PFC阈值，则触发PFC暂停帧，直接暂停上游端口发送，防止丢包。
PFC：无损网络的基石与隐患
PFC（Priority-based Flow Control，基于优先级的流控）是IEEE 802.1Qbb标准，它在每个优先级上独立进行链路级暂停。当接收端某优先级队列超过阈值时，会向上游发送暂停帧（Pause Frame），上游收到后停止发送该优先级的报文，直到收到恢复帧或定时器超时。
PFC的典型配置涉及三个阈值：XOFF阈值（触发暂停）、XON阈值（恢复发送）以及丢包阈值（若缓冲区耗尽则丢弃）。在RoCE网络中，通常将PFC使能到RoCE流量所在的优先级（如优先级3），而普通TCP流量使用其他优先级，避免相互影响。
PFC虽然保证了“不丢包”，但会引发两个严重问题：
- 拥塞扩散（Congestion Spread）：一个端口的拥塞会通过PFC反向传播，导致上游多个端口被暂停，形成树状拥塞树，甚至波及无关流量。
- PFC死锁：当两个方向都发送暂停帧且互相等待时，链路进入死锁状态，必须依赖看门狗定时器超时强制恢复。
因此，PFC必须与DCQCN配合使用：DCQCN负责“治本”（降低发送速率），PFC只负责“治标”（临时缓冲）。生产环境中应避免单独依赖PFC。
典型场景：存储阵列多打一拥塞
考虑一个典型场景：4台存储服务器同时向1台备份服务器写入数据，所有流量都经过同一台TOR交换机。假设每台存储服务器发送速率为25Gbps，而备份服务器接入链路仅100Gbps，则TOR交换机出口必然拥塞。
在没有DCQCN时，交换机队列迅速填满，触发PFC暂停帧，导致4台存储服务器的所有流量（包括其他优先级）都被暂停，形成“队头阻塞”。而启用DCQCN后，流程变为：
- TOR交换机检测到出口队列超过Kmin（如200KB），开始对发往备份服务器的报文打CE标记。
- 备份服务器NIC收到CE标记后，向4台存储服务器发送CNP报文。
- 各存储服务器收到CNP后，将发送速率减半（α从1变为0.5），总注入速率从100Gbps降至50Gbps。
- 交换机队列逐渐排空，停止ECN标记；存储服务器在15μs内未收到新CNP，开始快速恢复速率。
- 最终系统收敛到约100Gbps的总速率，且无丢包、无PFC触发。
误区与复盘：DCQCN调优的常见错误
在实际部署中，工程师常犯以下错误，导致RoCE网络性能不升反降：
- 误区一：ECN阈值设置过小。Kmin太小会导致正常突发流量也被标记，造成不必要的降速，吞吐量下降。建议Kmin≥BDP（带宽延迟积）的50%。
- 误区二：CNP周期设置不当。CNP发送间隔过短会加重接收端CPU负载，过长则导致降速响应迟钝。推荐间隔为50~100μs。
- 误区三：α恢复速度过快。若Gd设置过大，发送端在拥塞未完全消除时就快速恢复，会导致振荡。典型Gd=1/128，Gi=1/1024。
- 误区四：忽略PFC与DCQCN的阈值配合。PFC的XOFF阈值必须大于ECN的Kmax，否则交换机在ECN标记前就触发PFC，DCQCN形同虚设。推荐配置：Kmax < XOFF < 端口缓冲区。
在Mellanox（NVIDIA）交换机上，推荐使用以下初始配置：ecn_priorities=3，pfc_priorities=3，pfc_xoff_threshold=500KB，pfc_xon_threshold=300KB。同时启用dcqcn_enable=TRUE，并设置alpha_initial=1，alpha_max=1，rtt=2μs。务必在测试环境验证后再投入生产。
总结：三层防线缺一不可
RoCEv2的拥塞管理不是单一机制，而是ECN标记（检测）→ DCQCN降速（端到端控制）→ PFC暂停（链路级兜底）的三层协同体系。ECN负责“感知”拥塞，DCQCN负责“消除”拥塞根源，PFC负责“防止”极端情况下的丢包。任何一层配置不当，都可能导致网络性能劣化或丢包。理解每层的作用边界和配合关系，是RoCE网络调优的核心能力。