课程导入：学习目标、课程大纲与InfiniBand RC传输服务定位
1.1 学习目标与课程定位
欢迎进入《InfiniBand RC传输服务机制解析》课程。本课程面向数据中心网络工程师、高性能计算（HPC）系统架构师以及存储网络开发者，旨在帮助您从协议底层彻底理解InfiniBand（IB）网络中最为核心的传输服务——可靠连接（Reliable Connection，RC）。学完本课程后，您将能够：
- 掌握IB协议分层模型，清晰定位RC服务在IB体系中的层级与作用边界。
- 理解RC服务的核心机制，包括队列对（QP）状态机、WR（Work Request）/CQ（Completion Queue）交互流程、ACK/NAK重传逻辑及端到端流控。
- 具备实际排查能力，能够通过ibv_devinfo、perftest等工具观察RC连接行为，并针对“连接超时”“重传风暴”“内存注册错误”等典型故障进行根因分析。
- 建立协议对比视野，明确RC与不可靠连接（UC）、不可靠数据报（UD）、动态连接（DC）的适用场景差异。
1.2 课程大纲总览
本课程共分为30个章节，按照“基础认知→核心机制→高级特性→实践排障”四个阶段递进。下表展示了各阶段的核心主题与关键知识点：
| 阶段 | 章节范围 | 核心主题 | 关键知识点 |
|---|---|---|---|
| 基础认知 | 第1-5章 | IB体系与RC定位 | IB分层模型、QP类型、子网管理器、地址解析 |
| 核心机制 | 第6-18章 | RC传输细节 | QP状态机、WR/CQ流程、重传机制、流控窗口、内存注册（MR） |
| 高级特性 | 第19-25章 | 扩展与优化 | 多路径（MPI）、SR-IOV虚拟化、自适应路由、拥塞控制（CC） |
| 实践排障 | 第26-30章 | 工具与案例 | ibstat/ibv_rc_pingpong、硬件计数器分析、常见故障树 |
1.3 InfiniBand技术概述
InfiniBand是一种高性能、低延迟、支持RDMA（远程直接内存访问）的网络互连技术。与传统以太网不同，IB在设计之初就面向HPC与存储融合场景，其协议栈将物理层、链路层、网络层、传输层进行了明确划分，并直接在硬件中实现了可靠传输逻辑，从而将CPU从数据搬运中解放出来。
IB网络的基本组成包括：
- 端节点（Host Channel Adapter, HCA）：通常集成在服务器或存储控制器上，提供队列对（QP）接口。
- 子网管理器（Subnet Manager, SM）：负责链路状态发现、路由计算与路径分配，是IB子网的“控制大脑”。
- 交换机与路由器：IB交换机以无丢包、基于信用（Credit）的流控机制保证链路可靠性。
在传输层，IB定义了四种服务类型：可靠连接（RC）、不可靠连接（UC）、不可靠数据报（UD）以及可靠数据报（RD，现已较少使用）。其中，RC服务为每个QP对建立独立的连接上下文，提供数据包排序、确认（ACK）、重传（NAK触发）以及端到端流控，是当前HPC中MPI通信库（如OpenMPI、Intel MPI）最常使用的传输模式。
1.4 RC传输服务在IB体系中的位置
为了直观理解RC的定位，下图展示了IB协议分层模型以及RC服务在传输层中的角色。图中同时标注了与RC交互密切的相邻层组件：
从上图可以清晰看到，RC服务位于传输层，其下方依赖链路层的无丢包信用流控机制，上方则通过verbs API为应用层提供透明的可靠数据传输。RC连接建立后，每个QP对拥有独立的发送/接收队列，数据包在端到端之间通过ACK/NAK机制实现可靠性保障。值得注意的是，RC的可靠性是端到端的，即从发送端HCA到接收端HCA，而链路层的可靠性是逐跳的，两者协同工作但职责不同。
1.5 核心原理：RC与其它传输服务的对比
为了帮助您建立全局认知，下表对比了IB四种传输服务的核心差异。RC是唯一提供可靠、有序、连接导向且支持RDMA读写全部语义的服务：
| 特性 | RC (可靠连接) | UC (不可靠连接) | UD (不可靠数据报) | DC (动态连接) |
|---|---|---|---|---|
| 连接方式 | QP对之间建立独立连接 | QP对之间建立独立连接 | 多对多共享QP | 动态建立/拆除连接 |
| 可靠性 | ACK/NAK重传，保证不丢不乱 | 无重传，可能丢包 | 无重传，可能丢包 | 同RC（若配置可靠） |
| 数据包排序 | 严格按序 | 按序（无重传） | 不保证 | 按序 |
| RDMA支持 | 支持读/写/原子操作 | 仅支持写 | 仅支持写（SEND） | 支持读/写 |
| 典型应用 | MPI、存储NVMe-oF | IPoIB（较少用） | 管理消息、广播 | 大规模MPI（节省QP资源） |
1.6 案例场景：为什么HPC应用首选RC？
以典型的MPI_Allreduce集合通信为例，当集群规模达到数千节点时，若使用TCP/IP，每次通信都需要经过内核拷贝与协议处理，延迟将呈指数级增长。而使用RC服务，MPI库可以直接通过verbs API将数据从用户缓冲区注册为内存区域（MR），并下发WR到HCA硬件，由硬件完成数据封装、传输与确认。整个过程CPU零参与，单次消息延迟可控制在1.5微秒以内。
此外，RC的多个QP并行能力允许应用为不同数据流创建独立QP，从而避免队头阻塞。例如，在存储网关中，可以为读请求和写请求分别建立QP，并通过服务质量（QoS）机制进行带宽隔离。
1.7 误区与复盘
- 误区1：认为RC的可靠性依赖链路层。实际上，链路层只保证物理链路无错，RC的ACK/NAK机制在端节点HCA中实现，两者独立。
- 误区2：混淆QP与端口。一个HCA物理端口可以创建成千上万个QP，每个QP代表一条独立的传输上下文。
- 误区3：忽略RC的“连接”属性。RC必须经过建立连接（修改QP状态到RTR/RTS）才能通信，而UD则无需连接。