1. 课程导入与Fabric工程全景
在AI训练集群与高性能计算场景中，网络不再是“配套”，而是决定GPU利用率上限的关键基础设施。NVIDIA Spectrum系列以太网交换芯片与叶脊（Leaf-Spine）Fabric架构，正是为这类大规模、高带宽、低时延、可横向扩展的网络需求而设计。本课程围绕“用Spectrum芯片构建一张可运维、可验证、可扩展的叶脊Fabric”展开，从芯片定位、架构原理、参数关系，到实际配置、排障与复盘，形成一条完整的工程学习路径。
一、Spectrum交换芯片在Fabric中的定位
Spectrum是NVIDIA面向数据中心以太网的交换芯片家族，覆盖从接入层到骨干层的多种容量档位。它的核心价值不只是“转发”，而是把可编程性、遥测能力与无损网络特性集成到同一颗芯片中。典型能力包括：
- 高密度端口与灵活速率：支持100G/200G/400G/800G等以太网速率，单芯片可提供数十至数百个高速端口，用于Leaf或Spine角色。
- RoCEv2无损承载：通过PFC（优先级流控）与ECN（显式拥塞通知）配合，实现RDMA流量的低丢包、低时延传输。
- 可编程与遥测：支持带内网络遥测（INT）、流表统计、sFlow等，为Fabric可视化与故障定位提供数据源。
- 与NVIDIA软件栈协同：在Spectrum交换机上运行Cumulus Linux或SONiC等网络操作系统，配合NVIDIA NetQ、Air等工具完成自动化与验证。
需要明确的是：芯片决定“能力上限”，而Fabric架构决定“这些能力能否被有效组织起来”。因此本课程把芯片与架构放在同一张图里理解，而不是孤立地讲参数。
二、叶脊架构：为什么是Leaf-Spine
叶脊架构把网络分为两层：Leaf层负责连接服务器、存储与GPU节点，Spine层负责Leaf之间的高速互联。任意两个Leaf下的节点通信，路径固定为“Leaf→Spine→Leaf”，跳数稳定、时延可预测。相比传统三层树状网络，叶脊架构的优势在于：
- 横向扩展：增加Leaf即可接入更多节点，增加Spine即可提升Leaf间带宽，扩展粒度清晰。
- 等价多路径：Leaf到每个Spine都有链路，通过ECMP把流量分散到多条路径，避免单点拥塞。
- 故障域可控：单条链路或单台Spine故障时，ECMP自动收敛到其余路径，业务影响可评估、可验证。
在AI集群中，Leaf-Spine通常还会叠加Rail-Optimized拓扑：同一GPU编号（如GPU0）分布在不同Leaf上，使All-Reduce等集合通信尽量走单跳或固定路径，减少跨Spine绕行。这是本课程后续会重点展开的工程优化点。
三、课程目标与学习路径
本课程的目标不是“认识几个型号”，而是让读者具备独立设计、配置并验证一张Spectrum叶脊Fabric的能力。学习路径按工程推进顺序组织：
- 基础认知：Spectrum芯片家族、端口速率、缓存与转发特性，以及Leaf-Spine与Rail-Optimized拓扑的适用场景。
- 架构设计：根据GPU节点数量、东西向流量模型、收敛比要求，计算所需Leaf/Spine数量与上行链路带宽。
- 协议与无损：RoCEv2、PFC优先级、ECN门限、DCQCN参数之间的关系与配置方法。
- 配置实现：在Cumulus Linux或SONiC上完成接口、VLAN、BGP/EVPN、ECMP、QoS等配置。
- 验证与排障：用NetQ、INT、流量工具验证连通性、时延、丢包与拥塞，定位PFC风暴、ECN误标记等典型问题。
- 运维与复盘：变更管理、容量趋势、故障演练与优化迭代。
每一章都会尽量落到“可观察、可判断”的层面。例如讲ECN时，不只看配置命令，还要看交换机端口计数器中ECN标记包数量是否随拥塞上升，以及RDMA应用的完成时间是否改善。
四、实验环境与工具链概览
为了让配置与验证可复现，课程采用如下参考实验环境（示例配置，非实测结果）：
| 角色 | 设备/系统 | 关键参数示例 |
|---|---|---|
| Spine交换机 | Spectrum-4 平台，32×400G | 下行至Leaf，ECMP 16路径 |
| Leaf交换机 | Spectrum-2 平台，64×200G | 上行4×400G，下行接GPU节点 |
| GPU节点 | 8×GPU，双口200G RoCE | MTU 9000，PFC priority 3 |
| 网络操作系统 | Cumulus Linux 或 SONiC | BGP EVPN，ECMP hash |
| 验证工具 | NetQ、INT、iperf3、ib_write_bw | 时延、丢包、带宽、ECN计数 |
工具链的分工需要提前明确：NetQ用于Fabric级健康检查与路径验证；INT/sFlow用于逐跳遥测与拥塞定位；iperf3/ib_write_bw用于端到端带宽与RDMA性能测试；交换机计数器（如PFC pause、ECN marked、discards）用于判断无损网络是否按预期工作。四者配合，才能从“现象”追到“根因”。
五、贯穿全课的一条主线
本课程始终围绕一条主线：芯片能力 → 架构组织 → 参数配置 → 流量行为 → 验证判断。例如，Spectrum芯片支持ECN标记，这是“能力”；Leaf-Spine的ECMP把流量分散到多条路径，这是“架构组织”；在Leaf上行口配置ECN门限与DCQCN参数，这是“参数配置”；RDMA流量在拥塞时被标记而非丢弃，这是“流量行为”；通过ECN计数与应用完成时间判断调优是否有效，这是“验证判断”。
掌握这条主线后，读者面对任何一张Spectrum Fabric，都能从设备角色、链路带宽、协议参数和观测数据四个维度快速建立判断，而不是依赖零散命令记忆。接下来的章节将逐层展开这些内容。