课程导入：学习目标、课程结构、适用人群、学习路径

欢迎来到《英伟达IB网络与GPU集群全景通识》的第一章。在深入IB（InfiniBand）协议细节、GPU通信库或集群拓扑之前，我们需要先建立一张完整的“认知地图”。本章不涉及具体命令或硬件引脚，而是回答四个关键问题：学完这门课你能做什么？课程如何组织？适合谁来学？以及按什么顺序学最有效？

1.1 学习目标：从“能看懂”到“能排障”

本课程的目标不是让你成为IB网络芯片设计专家，而是培养你在真实GPU集群环境中看懂架构、定位瓶颈、完成基础配置与排障的能力。具体而言，完成全部30章学习后，你应该达到以下水平：

• 架构认知层：能画出典型DGX/HGX集群的IB组网拓扑，区分Fat-Tree、Dragonfly+等常见拓扑的优劣，理解LID（本地标识符）、GID（全局标识符）、子网管理器（SM）的角色。
• 协议与机制层：掌握IB的队列对（QP）、完成队列（CQ）、可靠连接（RC）与不可靠数据报（UD）等核心概念，能解释RDMA（远程直接内存访问）读写操作在GPU显存间的数据路径。
• 实操与调优层：能使用 ibstatus、ibping、ibdiagnet 等工具检查链路状态，能看懂 ibv_devinfo 输出中的关键参数，并针对多机多卡场景配置自适应路由（AR）与基于拥塞控制的动态路由（DCTCP）。
• 故障诊断层：面对“GPU通信超时”或“带宽不达标”问题，能按“物理层→链路层→网络层→传输层→应用层”的路径逐层排查，而非盲目重启。

1.2 课程结构：四大模块递进

30章内容并非线性堆叠，而是分为四个递进模块。理解这个结构有助于你把握学习节奏，避免在早期细节中迷失方向。

每个模块内部章节之间也有依赖关系。例如，第6章的“子网管理器原理”是第18章“SM高可用配置”的前置知识；第12章的“RC传输机制”是第22章“拥塞控制参数调优”的理论基础。建议按顺序学习，但若你已有一定基础，可跳过第1-3章直接进入第4章。

1.3 适用人群：三类学习者画像

本课程内容跨度较大，但并非“大杂烩”。我们针对三类典型学习者做了内容侧重设计，你可以对照自己的角色定位，在阅读时有所侧重。

• AI基础设施工程师 / 运维开发（占比约50%）：你负责GPU集群的搭建与运维。建议重点关注第4-8章（拓扑与组网）、第17-24章（配置与调优）、第25-30章（排障）。对于第9-16章的协议细节，理解概念即可，不必深究QP状态机迁移的每个状态。
• 高性能计算（HPC）应用开发者（占比约30%）：你编写MPI或NCCL程序，希望理解底层网络行为以优化通信模式。建议重点学习第9-16章（通信机制），尤其是NCCL的Ring/Tree算法与IB多轨（Multi-Rail）的对应关系。第1-8章可快速浏览。
• 网络工程师转型GPU集群方向（占比约20%）：你熟悉传统以太网，但对IB的“子网管理器替代路由协议”、“信用流控替代丢包重传”等差异感到陌生。建议从第2章“IB与以太网对比”开始，建立概念映射，再进入后续章节。

1.4 学习路径：推荐路线与里程碑自测

为了让你在30章的长跑中保持方向感，我们设计了一条带里程碑自测的学习路径。每完成一个阶段，你可以通过简单的实操或口头复述来检验自己是否达标。

1. 阶段一（第1-4章）：建立整体框架。学完后，你应该能不看资料画出“GPU → PCIe → IB HCA → 交换机 → 对端GPU”的数据路径图，并解释为什么需要RDMA而非传统TCP/IP。
2. 阶段二（第5-8章）：掌握组网与寻址。学完后，请自测：给定一个两层Fat-Tree拓扑（2个核心交换机，4个叶子交换机，每个叶子下挂2个节点），你能算出需要多少根线缆、如何分配LID吗？
3. 阶段三（第9-12章）：理解通信原语。学完后，请用一句话向同事解释“什么是QP的RC模式下的ACK/NACK机制”，并说明它与TCP确认的区别。
4. 阶段四（第13-16章）：深入NCCL与集合通信。学完后，请分析：在4节点DGX A100集群上执行AllReduce，NCCL默认会选择Ring算法还是Tree算法？为什么？
5. 阶段五（第17-20章）：动手配置与验证。学完后，请独立完成：使用 ibconfig 将端口速率从EDR降为HDR，并用 ibstatus 验证生效。
6. 阶段六（第21-24章）：性能调优与测试。学完后，请运行 ib_write_bw 测试点对点带宽，并解释为什么实测值通常为理论值的80%-90%（而非100%）。
7. 阶段七（第25-30章）：排障实战与复盘。学完后，请模拟一个“交换机端口CRC错误持续增长”的场景，列出你的排查命令序列和预期输出。

为了让你更直观地理解整个课程的知识层级与学习路径，下图展示了从物理链路到上层应用的完整脉络，以及各模块之间的支撑关系。

上图展示了四个模块的递进关系：模块一和模块二为“地基”，模块三为“施工”，模块四为“维护”。底层公共基础（物理层到工具链）贯穿所有模块，建议在进入每个新模块前，先回顾对应底层知识点。

1.5 常见误区与学习提醒

根据过往学员反馈，以下三个误区最容易影响学习效果，提前指出以帮助你规避：

• 误区一：用以太网思维理解IB。例如，试图在IB交换机上“配置VLAN”或“设置路由协议”。IB使用子网管理器集中计算转发路径，而非分布式路由协议。学习时请有意识地做“概念翻译”：IB的LID ≈ 以太网的MAC（但作用范围不同），IB的SM ≈ 以太网的SDN控制器（但机制更简单）。
• 误区二：只学命令不学原理。例如，会敲 ibconfig 但不知道它修改的是SM中的端口状态表。命令是“招式”，协议机制是“内功”。本课程在编排上先讲原理后讲操作，请克制“跳到第17章直接看配置”的冲动。
• 误区三：忽略GPU与网络的协同。IB网络在GPU集群中不是孤立存在的。例如，NCCL的通信模式直接影响网络流量特征；GPU Direct RDMA要求网卡与GPU显存之间通过PCIe P2P通信。学习时请始终带着“GPU数据从哪来、到哪去”的问题。