课程导入：学习目标、课程大纲、RDMA与InfiniBand基础概念
1.1 为什么需要关注RDMA丢包
在数据中心高性能计算与分布式存储场景中，RDMA（Remote Direct Memory Access，远程直接内存访问）已成为低延迟、高吞吐通信的核心技术。然而，RDMA网络对丢包极为敏感——传统TCP/IP网络可以通过重传机制容忍一定比例的丢包，但RDMA依赖硬件级可靠传输，一旦发生丢包，其惩罚机制（如Go-Back-N重传）会导致吞吐量断崖式下降，甚至引发集群范围的“PFC风暴”（Priority Flow Control，优先级流控风暴）。
本课程聚焦于RDMA丢包的根因定位与InfiniBand（IB）网络的调优实践。你将学习如何从物理层、链路层、网络层到传输层逐层排查，掌握使用硬件计数器、协议分析工具和系统监控手段定位丢包源头的方法，并最终通过参数调优与架构优化消除丢包隐患。
1.2 RDMA与InfiniBand基础概念
RDMA是一种允许网卡（HCA，Host Channel Adapter）直接读写远端主机内存的技术，绕过操作系统内核与CPU参与。其核心优势在于：零拷贝（数据直接在应用缓冲区与应用缓冲区之间传输）、内核旁路（无需经过socket层）、CPU卸载（由网卡完成传输控制）。
InfiniBand是RDMA的一种物理层与链路层实现方案，采用专用的交换网络与通道适配器，提供高带宽（当前主流为HDR 200Gb/s）、极低时延（亚微秒级）和原生RDMA语义。与之相对，RoCE（RDMA over Converged Ethernet）则是在以太网上承载RDMA，虽然成本更低，但需要依赖无损以太网特性（如PFC、ECN）来保证可靠性，这也使得RoCE环境下的丢包问题更为复杂。
下表对比了三种常见RDMA实现的关键差异：
| 特性 | InfiniBand | RoCE v2 | iWARP |
|---|---|---|---|
| 物理层 | IB专用链路 | 以太网 | 以太网 |
| 网络层 | IB全局路由（LRH/GRH） | IP/UDP封装 | TCP/IP |
| 丢包容忍度 | 极高（无损设计） | 依赖无损以太网 | 依赖TCP重传 |
| 典型时延 | 0.5-1μs | 1-3μs | 5-10μs |
| 部署成本 | 高（专用交换机） | 中（需支持PFC） | 低（标准以太网） |
1.3 RDMA通信架构与关键组件
理解RDMA丢包根因，首先需要掌握其通信架构中的核心组件与数据路径。下图展示了InfiniBand网络中一次典型RDMA读操作的端到端数据流，以及各层可能引入丢包的关键位置：
上图展示了RDMA读操作中数据从节点A应用缓冲区出发，经HCA封装为IB数据包，穿越交换机到达节点B的完整路径。图中标注的四个丢包风险点分别对应：物理层信号劣化、交换机内部拥塞、接收端缓冲区不足以及软件层队列配置问题。后续章节将围绕这些风险点逐一展开排查方法。
1.4 丢包根因分类框架
根据生产环境中的实际经验，RDMA丢包根因可归纳为以下四大类，本课程将按此框架组织内容：
- 物理层问题：光模块劣化、光纤弯曲损耗、连接器污染、信号完整性下降等，表现为链路误码率升高，触发FEC（前向纠错）无法纠正时产生丢包。
- 链路层与网络层问题：包括PFC死锁、ECN标记不当、路由不对称、MTU不一致等，常见于RoCE环境，但IB中也可能因VL配置不当引发。
- 传输层与协议栈问题：QP窗口大小不匹配、credit机制失效、重传超时参数不合理等，与HCA固件及驱动配置密切相关。
- 应用与系统问题：内存注册错误、CQ轮询不及时、应用缓冲区过小、CPU中断绑定不均等，属于软件层面的根因。
rx_phy_error计数器快速发现。
1.5 课程大纲与学习方法
本课程共30章，分为五个阶段，每个阶段聚焦一类根因或一种调优手段：
- 基础篇（第1-5章）：RDMA/IB架构、关键概念、常用工具（
ibstat、perftest、ibdiagnet） - 物理层排查篇（第6-10章）：光模块诊断、FEC配置、链路质量监控
- 网络层调优篇（第11-18章）：PFC/ECN调优、路由优化、拥塞控制算法（DCQCN、TIMELY）
- 传输层与软件篇（第19-25章）：QP参数调优、中断亲和性、内存管理
- 综合实战篇（第26-30章）：典型故障案例复盘、性能基准测试、自动化监控体系搭建
建议学习方法：每章学习后，在实验环境中复现相关场景（如使用ib_write_bw制造拥塞），并记录HCA计数器变化。本课程强调“先看计数器，再动配置”的排查原则——在修改任何参数之前，务必通过ibstat、perftest等工具收集基线数据，避免盲目调优导致问题复杂化。