1. 课程导入：学习目标、课程结构、混合组网概述

1.1 为什么需要关注 RoCE 与 InfiniBand 混合组网

在数据中心高性能计算与 AI 训练集群中，InfiniBand（IB） 凭借其无损传输、极低时延与 RDMA 原生支持，长期占据 HPC 互连的王者地位。然而，随着以太网生态的成熟与成本的持续下降，RoCE（RDMA over Converged Ethernet） 技术让普通以太网也能承载 RDMA 流量，成为越来越多通用算力集群的首选。现实中的大规模集群往往并非“非此即彼”——出于成本、存量设备利旧、业务隔离或供应商策略等原因，IB 与 RoCE 共存于同一物理数据中心，甚至通过网关或桥接设备实现跨网通信，由此形成了复杂的混合组网形态。

这种混合组网虽然带来了灵活性，却也埋下了大量隐患：两种网络在流控机制、拥塞通知、子网管理、MTU 协商、路由策略等方面存在本质差异，一旦配置不当或边界设备出现异常，故障现象往往表现为“业务偶发超时”“带宽远低于预期”“RDMA 连接反复断开”，排查难度远高于单一网络环境。本课程正是围绕这一痛点，系统讲解混合组网下的故障定位方法与实战技巧。

1.2 课程学习目标

完成本课程后，你将能够：

• 理解混合组网架构：清晰描述 IB 子网与 RoCE 以太网在数据平面、控制平面上的核心差异，识别常见的三种混合组网拓扑（独立双网、网关桥接、双栈融合）。
• 掌握故障分类方法：将混合组网故障划分为链路层、网络层、传输层、应用层四个维度，并建立“现象 → 假设 → 验证 → 定位”的排查思维框架。
• 熟练使用关键工具：运用 ibstat、ibstatus、perftest、rdma_cm、ethtool、tcpdump 等命令，在 IB 与 RoCE 两侧分别采集证据。
• 掌握典型故障场景：包括 PFC 死锁、IB 子网管理器（SM）主备切换异常、RoCE 流控优先级不一致、跨网 MTU 黑洞、ARP 与 GID 解析失败等高频问题。
• 建立预防性维护意识：通过配置基线检查、监控指标阈值设定、变更管理流程，降低混合组网故障发生概率。

1.3 课程结构总览

本课程共分为 30 个章节，按“基础 → 进阶 → 实战 → 预防”四个阶段递进，具体结构如下表所示：

每章均包含原理讲解、故障案例、排查命令演示、误区复盘四个固定模块，确保理论能快速落地到实际操作。

1.4 混合组网核心架构与故障域划分

要高效排查混合组网故障，首先必须在脑海中建立一张清晰的架构地图。下图展示了本课程贯穿始终的混合组网参考模型，它标明了 IB 域、RoCE 域以及两者交汇处的关键组件与故障风险点：

从上图可以看到，混合组网的故障域可划分为三个区域：IB 域内部、RoCE 域内部以及网关桥接区。其中网关桥接区是故障率最高的“灰色地带”，因为该区域需要同时处理两种网络的控制协议转换，任何映射错误都会导致跨网通信异常，而单网工具往往无法直接定位。

1.5 混合组网故障排查的三大核心原则

在开始具体技术细节之前，先建立三个贯穿全课程的方法论原则：

1. 先分域，后定位：任何故障出现后，第一步不是抓包或看计数器，而是明确流量路径是否经过网关。通过 ping 网关两侧地址、检查 ARP/GID 表项，可在 1 分钟内将故障域缩小到 IB 侧、RoCE 侧或网关本身。
2. 双向验证，拒绝单边结论：RDMA 是双向传输，发送端与接收端的状态可能完全不同。例如，发送端显示 QP 正常，但接收端可能已发生 本地重试超时。排查时必须同时采集两端信息。
3. 关注“静默丢包”：混合组网中最难查的故障不是“断连”，而是“性能劣化”——链路没有报错，但吞吐量下降 50% 以上。这类问题通常由 PFC 死锁、ECN 误标记或 IB 自适应路由哈希冲突导致，需要借助计数器与监控曲线联合判断。

1.6 本章小结与实验环境准备

本章作为课程导入，建立了混合组网的整体视图与排查思维框架。在后续章节中，我们将逐一深入 IB 子网管理、RoCE 流控、网关桥接等具体技术细节，并通过真实案例演练故障排查流程。

为了获得最佳学习效果，建议你准备以下实验环境（或使用课程提供的模拟环境）：

• 一台安装 Mellanox OFED 驱动的服务器（用于 IB 与 RoCE 命令操作）
• 一个支持 PFC/ECN 的以太网交换机（用于 RoCE 流控实验）
• 一个 IB 子网管理器（可用 opensm 软件模拟）
• 抓包工具：tcpdump（RoCE 侧）与 ibdump（IB 侧）

准备好后，请进入第 2 章，开始学习 IB 与 RoCE 协议栈的详细对比与故障关联分析。