1. 课程导入

存储与GPU直连（GPU Direct Storage，简称GDS）是近年来高性能计算与AI训练场景中绕不开的关键技术。它允许GPU绕过CPU和系统内存，直接从NVMe SSD或远程存储读取数据，从而显著缩短数据加载路径。然而，GDS并非“插上就能提速”的银弹——实际部署中，PCIe拓扑、NVMe队列深度、显存注册策略、存储端固件行为等因素都会对最终性能产生数量级的影响。本课程不打算停留在概念层面，而是以真实生产环境中的优化案例为线索，带您走完从问题发现、根因定位、方案设计到效果验证的完整闭环。

一、学习目标：学完本节后您将能够

• 理解GDS的核心数据通路：说清“CPU拷贝路径”与“GPU直连路径”的本质差异，并能画出关键组件（GPU、NVMe控制器、PCIe Switch、DMA引擎）之间的连接关系。
• 识别性能瓶颈的常见位置：当吞吐量或延迟不达标时，能快速判断问题出在PCIe带宽、NVMe队列配置、显存注册开销还是存储端固件。
• 掌握一套可复用的优化方法论：从基准测试、拓扑梳理、参数调优到最终验证，形成自己的排查清单。
• 建立成本与收益的量化意识：知道何时值得投入精力做GDS优化，何时传统路径已经足够，避免过度工程化。

二、课程结构：六大模块递进式展开

本课程共30章，按“原理→实践→案例→复盘”的逻辑组织，每章都配有独立的SVG示意图和可操作的建议。整体结构如下表所示：

三、案例背景：一个典型的“慢加载”问题

我们以一个贯穿全课程的虚拟案例作为引子：某AI训练集群使用8张A100 GPU训练大语言模型，数据集存储在24块NVMe SSD组成的RAID 0阵列上。初始方案采用传统CPU拷贝路径（数据先读到系统内存，再通过PCIe拷贝到显存），实测训练数据加载吞吐量仅为 3.2 GB/s，GPU利用率徘徊在60%左右，训练每轮迭代等待数据的时间占比高达35%。

团队尝试启用GDS后，吞吐量提升至 11.8 GB/s，但距离理论峰值（PCIe Gen4 x16单向约14 GB/s）仍有差距。进一步排查发现：NVMe队列深度设置为默认的32，而实际需要128才能打满SSD；同时，显存注册采用每批次动态注册方式，导致额外的CPU开销。经过三轮调优，最终稳定在 13.5 GB/s，GPU利用率提升至92%。

这个案例揭示了GDS优化的三个层次：路径切换（基础）→ 参数匹配（进阶）→ 资源生命周期管理（高级）。后续章节将逐一拆解每个层次的具体操作。

四、预期收益：学完本课程后您能带走什么

• 一套完整的GDS性能调优checklist：从硬件拓扑确认到软件参数验证，共47个检查点，可直接用于生产环境。
• 8个真实案例的根因分析图谱：每个案例都包含“现象→假设→验证→解决→复盘”五个环节，避免您重复踩坑。
• 可直接复用的脚本与配置模板：包括NVMe队列深度设置脚本、CUDA显存注册池化代码、fio基准测试配置等。
• 决策判断力：何时该用GDS、何时该用传统路径、何时需要升级硬件，形成清晰的成本-收益分析框架。

五、本节核心概念图：GDS在存储-计算栈中的位置

下图展示了传统路径与GDS路径的对比，以及优化动作的作用点。图中左侧为传统CPU拷贝路径，右侧为GDS直连路径，中间为PCIe Switch与NVMe控制器。请注意，优化动作分别作用于“队列深度”“注册策略”“块大小”三个位置。

六、本节小结与学习路径建议

本节作为全课程的起点，完成了三件事：明确了学习目标（理解原理、识别瓶颈、掌握方法论、量化收益）；展示了课程结构（六大模块递进，从原理到复盘）；引入了贯穿案例（3.2→13.5 GB/s的优化过程）。

建议您在继续学习前，先确认自己的环境具备以下条件：一台装有NVIDIA驱动（≥470）和CUDA（≥11.4）的Linux服务器，至少一块支持GDS的GPU（Ampere架构或更新），以及一块NVMe SSD。如果暂时没有硬件环境，也可以先跟随案例章节理解思路，待有条件时再动手验证。