📚 课程目录第1章课程导入

课程导入：GPU计算的历史与英伟达GPU的演进

欢迎来到《英伟达GPU编程模型与应用概览》的第一章。在深入CUDA、Tensor Core或分布式训练之前，我们有必要先回答一个根本问题：GPU为什么存在？它又是如何从“显卡”进化为“计算加速器”的？理解这段历史，不仅能帮助你建立硬件演进的直觉，更能解释今天编程模型中许多看似“奇怪”的设计——比如线程层级、共享内存和SIMT（单指令多线程）执行方式，其实都是对图形渲染管线需求的直接继承与抽象。

1.1 从图形加速到通用计算：一段被需求驱动的历史

GPU的诞生并非为了科学计算，而是为了满足实时3D图形渲染的海量并行需求。1990年代，CPU需要逐像素计算光照、纹理和几何变换，这对串行处理器是巨大负担。1999年，英伟达发布GeForce 256，首次提出“GPU”概念，将顶点变换与光照（T&L）从CPU卸载到专用硬件。但此时GPU只能执行固定功能管线，程序员无法自定义计算逻辑。

转折点出现在2001年，英伟达推出GeForce 3，引入可编程顶点着色器。随后，2003年的DirectX 9时代，像素着色器允许开发者用类C语言（HLSL/Cg）编写逐像素逻辑。敏锐的研究者发现：像素着色器本质上是一个并行执行单元，能否用它做通用数学运算？于是诞生了“GPGPU”（General-Purpose GPU）的早期实践——通过把数据编码为纹理、把计算映射为片段着色，科学家在图形API上“曲线救国”地做矩阵乘法、流体模拟甚至期权定价。这种方式极其别扭，但证明了GPU并行计算的巨大潜力。

  核心洞察：GPU的并行架构源于图形渲染的“数据并行”特性——数百万个像素/顶点彼此独立，可同时计算。这种“单指令流、多数据流”的模型，恰好与科学计算中的矩阵运算、图像滤波、蒙特卡洛模拟高度契合。

1.2 英伟达GPU架构演进的关键节点

理解架构演进，不能只看型号和年份，更要关注计算模型的变革。下表梳理了英伟达GPU从Tesla到Hopper的架构代际及其对编程模型的影响：

架构代号	发布年份	代表产品	关键特性	对编程模型的影响
Tesla	2007	GeForce 8800 GTX	统一着色器、CUDA 1.0	首次提供C语言扩展，线程块（block）概念确立
Fermi	2010	GTX 480	ECC内存、真正可并发的内核	引入SM（流式多处理器）调度器，支持全局原子操作
Kepler	2012	GTX Titan	动态并行、Hyper-Q	GPU可自主启动内核，减少CPU-GPU同步开销
Maxwell	2014	GTX 980	低功耗、共享内存只读路径	简化内存层次，提升每瓦性能
Pascal	2016	P100	NVLink、统一内存、16nm	支持多GPU间高速互联，简化异构内存管理
Volta	2017	V100	Tensor Core、独立线程调度	引入混合精度训练，AI计算性能跃升
Turing	2018	RTX 2080	RT Core、INT8推理加速	实时光线追踪与AI推理融合
Ampere	2020	A100	第三代Tensor Core、MIG	多实例GPU分区，支持弹性计算
Hopper	2022	H100	Transformer引擎、DPX指令	针对大语言模型优化，加速注意力机制

1.3 为什么GPU编程与CPU编程如此不同？

要理解GPU编程模型，必须抓住一个核心差异：CPU是“少核强逻辑”，GPU是“多核弱逻辑”。CPU的每个核心拥有大容量缓存、分支预测器和乱序执行引擎，擅长处理复杂控制流；而GPU的每个SM（流式多处理器）包含数百个轻量级CUDA核心，它们共享控制单元，以SIMT方式执行——即同一时刻，一组线程（warp，通常32个）执行同一条指令，但作用于不同数据。

这种设计带来三个直接后果：

线程切换开销极低：GPU硬件调度器可以在时钟周期内切换warp，用计算掩盖内存延迟，因此不需要像CPU那样依赖大缓存。
分支发散是性能杀手：如果warp内线程走不同分支，硬件会串行执行每个分支路径，导致部分线程闲置。因此GPU编程需要尽量避免线程间的控制流分歧。
内存层次结构复杂：GPU拥有全局内存、共享内存、寄存器、常量内存、纹理内存等多级存储，程序员需要手动管理数据在各级间的移动，才能获得接近峰值的性能。

学习建议：本课程将围绕“线程层级—内存层级—同步机制—性能优化”这条主线展开。建议你在学习每个编程模型概念时，都问自己：“这个设计对应硬件上的哪个物理结构？它解决了什么性能瓶颈？” 这种“软硬映射”的思维方式，是掌握GPU编程的关键。

1.4 课程目标与学习路径

本课程共30章，目标不是让你背下所有API，而是建立一套系统化的GPU编程思维框架。完成本课程后，你将能够：

理解GPU硬件架构：掌握SM、warp、内存层次、Tensor Core等核心概念，能读懂GPU规格表。
熟练使用CUDA编程：编写、调试、优化从简单向量加法到复杂矩阵乘法的CUDA内核。
掌握性能分析方法：使用NVIDIA Nsight、nvprof等工具定位带宽瓶颈、占用率不足、内存事务冲突等问题。
了解高级主题：包括多GPU编程（NVLink）、统一内存、CUDA Graphs、以及面向AI的Tensor Core编程。
具备实际项目能力：能够将现有C/C++/Python代码迁移到GPU，并评估加速收益。

学习路径分为四个阶段，每个阶段都有明确的实践目标：

  阶段一（第1-8章）：基础入门。掌握CUDA编程模型、线程组织、内存管理、错误处理。实践目标：完成向量加法、矩阵转置、图像模糊等经典案例。

  阶段二（第9-16章）：性能优化。深入理解内存合并、共享内存、bank冲突、warp发散、流并发。实践目标：将矩阵乘法优化至接近理论峰值。

  阶段三（第17-24章）：高级架构与工具。学习多GPU编程、CUDA Graphs、统一内存、Nsight性能分析。实践目标：实现多GPU并行归约，并完成性能剖析报告。

  阶段四（第25-30章）：AI与行业应用。聚焦Tensor Core、cuBLAS/cuDNN库、Transformer推理优化。实践目标：手写一个基于Tensor Core的矩阵乘内核，并集成到简单的Transformer前向传播中。

1.5 常见误区与学习复盘

在多年的GPU教学与工程实践中，我们发现初学者最容易陷入以下误区，在此提前指出，帮助你少走弯路：

误区一：把GPU当“更快的CPU”来编程。如果你只是把串行代码原封不动地丢给GPU，性能往往不升反降。GPU需要的是数据并行算法设计，而非简单翻译。
误区二：忽视数据传输开销。PCIe总线带宽远低于GPU显存带宽。如果数据在CPU和GPU间频繁拷贝，性能会被传输瓶颈主导。正确的做法是：尽量在设备端完成所有数据处理，减少主机-设备通信次数。
误区三：盲目追求“满占用率”。100%的SM占用率并不总是最优。有时减少线程块大小、增加每个线程的独立工作量（ILP），反而能提升缓存命中率，获得更高性能。
误区四：忽略错误检查。CUDA API和内核启动都是异步的，错误可能延迟到后续同步点才暴露。务必检查每个CUDA调用的返回值，并使用cudaGetLastError()捕获内核错误。

复盘思考：在进入下一章之前，请回顾本节内容，确认你能回答以下问题：

GPU的并行架构起源于什么需求？它与CPU架构的本质区别是什么？
从Tesla到Hopper，哪一次架构变革对AI计算影响最大？为什么？
SIMT执行模型中的“warp发散”是什么？它为什么会影响性能？
本课程四个学习阶段分别侧重什么能力？你当前最需要加强的是哪一部分？