📚 课程目录第2章 GPU架构概览

2. GPU架构概览

大家好，我是你们的老朋友。今天咱们来聊聊GPU的“骨架”——它的核心架构。很多同学刚接触GPU编程时，总觉得它像个黑盒子：把数据扔进去，哗啦一下算完了。但你真的了解里面是怎么运作的吗？

我个人习惯把GPU比作一个超级工厂。SM（流式多处理器）就是车间，CUDA Core是普通工人，Tensor Core是AI专家，RT Core是光线追踪特工。嗯，这个比喻可能不太严谨，但能帮你快速建立印象。

SM，全称Streaming Multiprocessor。它是GPU最基本的计算单元。你可以把它想象成一个独立的小型处理器——有自己的指令缓存、调度器、寄存器文件和计算核心。

我刚开始接触GPU时，总以为SM越多性能越强。其实不然。SM的设计哲学是“多而精”。每个SM内部有多个CUDA Core，共享一套调度逻辑。举个例子，NVIDIA的A100有108个SM，每个SM包含64个FP32 CUDA Core。

关键点：SM是并行执行的基本单位。一个线程块（Thread Block）会被分配到同一个SM上执行。这意味着同一个SM内的线程可以共享数据，通过共享内存（Shared Memory）通信。

这里有个坑，我曾经踩过：线程块的大小设置不合理。如果你把线程块设得太大，一个SM装不下，就会导致多个线程块排队等待。反过来，设得太小，SM的资源又用不满。我建议你根据SM的寄存器数量和共享内存大小来调整。

CUDA Core，说白了就是GPU里的基本算术单元。每个CUDA Core能执行整数和浮点数的加减乘除运算。注意，它不像CPU核心那样能独立执行复杂指令流——它得听SM调度器的指挥。

你想想看，一个SM里可能有几十甚至上百个CUDA Core。它们一起工作，就能实现大规模的并行计算。比如做矩阵乘法，每个CUDA Core负责计算一个元素，几千个Core同时开工，速度自然快。

GPU型号	SM数量	每个SM的CUDA Core数	总CUDA Core数
RTX 3090	82	128	10496
A100	108	64	6912
H100	132	128	16896

看到没？不同GPU的CUDA Core数量差异很大。但别只看数量，还要看每个Core的能力。比如A100的CUDA Core支持FP32、FP64、INT32等多种精度，而游戏卡可能只侧重FP32。

避坑指南：我曾经在项目里用RTX 3090做双精度计算，结果发现性能惨不忍睹。后来查资料才知道，游戏卡的FP64性能被刻意限制了。所以，选GPU前一定要搞清楚你的计算需求。

Tensor Core是NVIDIA从Volta架构开始引入的专用硬件。它专门为矩阵乘法和累加运算设计——这正是深度学习训练和推理的核心操作。

为什么需要Tensor Core？因为传统的CUDA Core做矩阵乘法太慢了。举个例子，一个4x4的矩阵乘法，用CUDA Core需要多次乘法和加法。而Tensor Core一次就能搞定。它内部有专门的乘法器和累加器，能在单个时钟周期内完成多个运算。

我记得第一次用Tensor Core时，简直惊呆了。同样的矩阵乘法，用CUDA Core跑了10毫秒，换成Tensor Core后直接降到0.5毫秒。这差距，你品，你细品。

// 使用Tensor Core的示例（伪代码）
// 假设A和B是4x4的half精度矩阵
// C是累加结果
tensor_core_matmul(A, B, C, 4, 4, 4);

嗯，这里要注意：Tensor Core不是万能的。它只对特定尺寸的矩阵（比如16x16、8x8）有优化。如果你的矩阵尺寸不匹配，性能反而会下降。我建议你在设计算法时，尽量让矩阵尺寸对齐Tensor Core的“口味”。

RT Core是NVIDIA在Turing架构中引入的。它的任务只有一个：加速光线与场景的求交计算。说白了，就是判断一条光线是否撞到了某个三角形。

为什么需要专用硬件？因为光线追踪的计算量太大了。传统方法用CUDA Core做，每帧可能要几秒钟。而RT Core把求交计算硬件化了，速度提升了几个数量级。

RT Core内部包含一个BVH（包围盒层次结构）遍历单元。它能快速跳过那些不可能相交的物体，只对可能相交的三角形进行精确计算。这就像你找东西时，先看大致的区域，再缩小范围，而不是翻遍整个房间。

注意：RT Core只负责求交计算，不负责光照计算。光照计算（比如反射、折射）还是得靠CUDA Core或Tensor Core来完成。所以，RT Core是“加速器”，不是“替代品”。

我曾经在一个游戏引擎项目里，尝试用RT Core做实时反射。效果确实好，但帧率掉得厉害。后来发现是光照计算部分没优化好。所以，用好RT Core的关键是平衡好求交和光照的计算量。

说了这么多，你可能想问：这些组件到底怎么配合的？我画了一张图，帮你理清思路。

流程其实很简单：CPU把数据放到全局内存，然后告诉SM“干活”。SM从全局内存取数据，分发给内部的CUDA Core、Tensor Core或RT Core。计算完成后，结果再写回全局内存，CPU取走。

这里有个细节：SM内部的调度器会尽量让所有核心都忙起来。如果某个核心在等数据，调度器会立刻切换另一个线程上去。这就是GPU的“零开销上下文切换”——也是它比CPU更擅长并行计算的原因之一。

好了，咱们今天聊了GPU的四大核心组件：

我个人觉得，理解这些组件的关键是“分工协作”。每个组件都有自己的专长，组合起来才能发挥GPU的最大威力。你在写程序时，也要学会“看人下菜碟”——该用CUDA Core的地方别用Tensor Core，该用RT Core的地方别硬算。

嗯，今天就到这儿。下次咱们聊聊线程、线程块和网格——这些是GPU编程的“三驾马车”。

核心要点回顾：