2. Spectrum交换机QoS架构解析

要理解Spectrum交换机上的QoS行为，不能只停留在“给流量打个优先级”这一层。真正决定一个报文在设备内部走哪条路、排哪个队、什么时候被丢弃、什么时候被整形输出的，是ASIC内部一条从入端口到出端口的完整硬件流水线。Spectrum系列（如Spectrum-2/3/4）的QoS能力，本质上由四块硬件基础共同决定：ingress流水线负责分类、标记与准入判断；缓冲区结构决定报文在哪里排队、能排多深；队列调度器决定同一出端口上多个队列谁先发、发多少；拥塞管理模块（WRED/ECN/PFC等）决定拥塞发生时丢谁、标谁、还是反压谁。理解这四者的分工与衔接，是后续做QoS调优和拥塞治理的前提。

一、ingress流水线：报文进入ASIC后的第一段处理

报文从物理端口进入Spectrum ASIC后，首先经过ingress pipeline。这一段的核心任务不是转发，而是“识别与决策”。典型处理顺序如下：

• 解析（Parser）：识别二层到四层头部，提取VLAN、DSCP、IP优先级、TCP/UDP端口、甚至RoCEv2的UDP目的端口4791等字段。
• 分类（Classification）：依据ACL、流表或端口信任模式，把报文映射到内部优先级。Spectrum内部通常使用TC（Traffic Class）与颜色（Color）两个维度，TC决定进哪个队列，颜色决定拥塞时是否优先丢弃。
• 标记与重写（Marking/Rewrite）：可在ingress侧重写DSCP或内部优先级，也可保留原标记交由egress处理。
• 准入与策略（Policing）：对超出承诺速率的流量做丢弃或降级，避免异常流量挤占缓冲区。

需要特别注意的是，Spectrum的ingress分类结果会随报文一起进入交换结构（Switching Fabric），并最终传递到egress侧，成为egress队列选择的依据。也就是说，ingress决定“身份”，egress决定“待遇”。

二、缓冲区结构：共享池与队列阈值

Spectrum采用共享缓冲区（Shared Buffer）架构，而不是每个端口固定分配一块独立内存。所有端口的入向流量共享同一个片上缓冲池，按需占用。这种设计在突发流量下利用率高，但也带来一个关键问题：一个端口的拥塞可能吃掉整个缓冲池，导致其他端口丢包。因此，缓冲区管理必须配合阈值（Threshold）机制。

Spectrum的缓冲区通常按以下层次组织：

• 全局共享池：整个ASIC可用的总缓冲字节数，是硬上限。
• 端口/队列组配额：限制某个端口或队列组最多占用多少共享池，防止单点独占。
• 每队列阈值：每个出队列可占用的最大深度，超过即触发丢弃或标记。
• 动态阈值（Dynamic Threshold）：阈值随当前空闲缓冲量浮动，空闲多时允许队列占更多，空闲少时收紧，从而在突发吸收与公平性之间取得平衡。

在NVIDIA的配置模型中，这些阈值通常以alpha、beta等参数表达，或通过buffer相关的profile进行设置。理解“共享池—端口配额—队列阈值”三级结构，是排查“为什么这个队列先丢包”的关键。

三、队列调度器：谁先发、发多少

当一个出端口上有多个队列都有报文待发时，由调度器（Scheduler）决定发送顺序和带宽分配。Spectrum支持多种调度方式，常见组合是：

• SP（Strict Priority，严格优先级）：高优先级队列只要非空就优先发送，低优先级可能被“饿死”。适合对时延极敏感的流量，如控制面或PFC反压流量。
• DWRR（Deficit Weighted Round Robin，差额加权轮询）：按权重分配带宽，权重高的队列每轮获得更多发送机会，同时保证低优先级队列不被完全饿死。
• 混合调度：通常把最高优先级队列设为SP，其余队列用DWRR分组，兼顾时延与公平。

调度器还常与整形器（Shaper）配合。整形器限制某个队列或端口组的最大发送速率，把突发流量“削峰填谷”，避免下游拥塞。Spectrum支持单队列整形和端口级整形，配置时需注意整形速率与端口线速、上游注入速率之间的关系。

四、拥塞管理模块：WRED、ECN与PFC

当缓冲区占用接近阈值时，拥塞管理模块开始介入。Spectrum主要提供三类手段：

• WRED（Weighted Random Early Detection）：在队列长度超过最小阈值后，按概率随机丢弃报文，避免队列被填满后发生全局同步丢包。颜色（绿/黄/红）对应不同的丢弃概率曲线。
• ECN（Explicit Congestion Notification）：不丢包，而是在IP头部打上CE标记，通知端主机降速。对RoCEv2和TCP都适用，是低时延无损网络的关键机制。
• PFC（Priority Flow Control）：在链路层按优先级发送PAUSE帧，反压上游停止发送。PFC是构建无损以太网的基础，但配置不当会引发PFC风暴或死锁，必须配合看门狗（Watchdog）和PFC风暴抑制。

这三者的关系可以概括为：WRED管丢包，ECN管降速，PFC管反压。实际部署中，通常对RoCE流量启用ECN+PFC，对普通TCP流量启用WRED，对控制流量保留SP队列。

五、四块硬件的协同关系

把上述四块放在一起看，Spectrum的QoS处理可以概括为一条“分类—排队—调度—反馈”的闭环：

1. 报文进入ingress，被解析并映射为TC和Color；
2. 根据TC进入egress侧对应队列，队列占用共享缓冲区；
3. 调度器按SP/DWRR规则从多个队列中选出下一个发送的报文；
4. 当队列长度超过阈值，WRED/ECN/PFC按配置介入，或丢包、或标记、或反压；
5. 反压信号回到上游，影响后续报文的准入与发送速率。

这条闭环中，任何一个环节配置不当都会导致QoS失效。例如：ingress分类错误会让高优先级流量进错队列；缓冲区阈值过松会让单队列独占共享池；调度器权重设置不合理会让低优先级队列长期得不到发送；PFC没有配Watchdog则可能在链路故障时引发死锁。

六、一个可参考的队列与阈值配置示例

以下示例假设一台Spectrum交换机，8个出队列，其中队列7用于RoCE无损流量，队列6用于控制面，其余用于普通数据。示例参数仅用于说明配置结构，实际部署需根据端口速率、RTT和业务模型调整。

# 查看当前QoS配置
mlnx_qos -i swp1

# 设置TC到队列的映射（示例：TC7 -> 队列7）
mlnx_qos -i swp1 --tc_to_queue 0,1,2,3,4,5,6,7

# 启用PFC on priority 7
mlnx_qos -i swp1 --pfc 0,0,0,0,0,0,0,1

# 查看队列丢弃与PFC计数
ethtool -S swp1 | grep -E "prio7|pfc|discard"

观察结果时，重点关注三类计数：队列丢弃计数（判断WRED是否触发）、PFC PAUSE帧收发计数（判断反压是否发生）、ECN CE标记计数（判断端到端拥塞通知是否生效）。如果PFC发送计数持续增长而业务速率没有下降，说明上游没有正确响应PAUSE，需要检查上游端口的PFC使能状态和优先级映射。

总结来说，Spectrum的QoS不是单一功能，而是ingress分类、共享缓冲、队列调度、拥塞管理四块硬件协同的结果。理解每一块的角色和它们之间的数据流关系，才能在面对实际拥塞问题时快速定位是“分类错了”“队列满了”“调度偏了”还是“反压没生效”，从而做出有针对性的调整。