1. 课程导入：多卡互联技术背景、学习目标与课程框架

1.1 为什么多卡互联正在成为算力基础设施的“生命线”

随着大模型训练、科学计算与实时推理对算力需求的指数级增长，单张加速卡（GPU/NPU/DPU）的显存容量与计算吞吐已无法独立支撑千亿级参数模型的训练与部署。多卡互联技术应运而生，它通过高速总线或交换网络将多张加速卡组成一个统一的、可协同寻址与并行计算的系统。无论是NVIDIA的NVLink+NVSwitch、AMD的Infinity Fabric，还是PCIe Switch与CXL内存池化方案，其核心目标都是：让多张卡在软件视角下表现为“一张更大的卡”。

然而，互联链路越多、拓扑越复杂，故障面也随之急剧扩大。一条链路降速、一个Switch端口丢包、一段PCB走线串扰，都可能导致整个集群训练中断或性能腰斩。在实际运维中，“卡坏了”往往不是卡本身的问题，而是卡与卡之间的数据通路出了问题。因此，掌握多卡互联数据通路的故障排查与修复能力，已成为AI基础设施工程师、高性能计算运维人员与数据中心硬件诊断专家的核心技能之一。

1.2 多卡互联的典型拓扑与数据通路分层

为了后续章节能够系统化地讨论故障，我们首先需要建立统一的分层视图。多卡互联数据通路可以抽象为以下四个层次，每一层都有其独立的故障特征与诊断工具：

• 物理层（Physical Layer）：包括PCB走线、连接器、铜缆/光模块、信号调理芯片。故障表现为链路训练失败、误码率（BER）升高、信号完整性劣化。
• 协议层（Link/Protocol Layer）：包括链路初始化、流控、CRC校验、重传机制。故障表现为链路降速（如从Gen5降为Gen4）、CRC错误计数增长、链路反复Up/Down。
• 路由与交换层（Routing/Switch Layer）：包括Switch端口映射、路由表项、拥塞管理。故障表现为数据包被丢弃、死锁、端口拥塞导致端到端延迟激增。
• 软件与驱动层（Software/Driver Layer）：包括GPU驱动、CUDA/NCCL运行时、PCIe枚举与BAR空间分配。故障表现为设备无法枚举、显存映射错误、通信库初始化超时。

下图展示了本节所定义的四层模型与典型故障探测点，后续所有章节的排查方法论均基于此分层展开：

1.3 学习目标：学完本课程你将能够

本课程不追求面面俱到的理论堆砌，而是以可操作的故障排查能力为导向。完成全部30章学习后，你将具备以下核心能力：

1.4 课程框架：从原理到实战的六阶段递进

课程内容按照“原理认知 → 工具掌握 → 故障定位 → 修复验证 → 案例实战 → 预防体系”的逻辑递进，共分为六个阶段、30个章节：

1. 基础原理篇（第1-5章）：多卡互联技术演进、NVLink/PCIe/CXL协议基础、拓扑结构详解、数据通路分层模型。
2. 诊断工具篇（第6-10章）：系统级监控工具（nvidia-smi、rocm-smi）、链路级诊断工具（nvlink、pcieutils）、抓包与协议分析工具。
3. 故障定位方法论（第11-16章）：分层排除法、对比测试法、压力测试法、日志关联分析法、常见故障模式库。
4. 修复与验证技术（第17-22章）：链路重训练、驱动与固件管理、Switch端口隔离、信号完整性调优、修复后的性能验证。
5. 真实案例复盘（第23-27章）：大模型训练中断、多卡通信超时、性能劣化、间歇性故障等5个深度案例。
6. 预防与体系化建设（第28-30章）：监控告警阈值设计、健康检查脚本、故障复盘模板与团队协作流程。

1.5 常见误区与学习建议