GPU硬件架构基础：核心组成与并行计算模型
大家好，我是你们这堂课的老朋友。今天咱们聊聊GPU的“五脏六腑”——硬件架构。说实话，我当年刚接触GPU时，觉得它就是个“黑盒子”，往里扔数据，出来结果。直到有一次，我在优化一个大规模矩阵运算时，性能死活上不去，才逼着自己把GPU的底裤扒了个干净。嗯，今天就把这些经验分享给你。
GPU核心组成：CUDA Core、Tensor Core与显存
先说说GPU最核心的部件。你想想看，一个GPU芯片上，密密麻麻排布着成千上万个计算单元。这些单元，主要分三类。
CUDA Core：通用计算的“步兵”
CUDA Core，你可以把它理解成GPU里的“普通士兵”。它擅长处理单精度浮点数和整数运算。每个CUDA Core都能独立执行一条指令，但它的能力有限——一次只能处理一个标量数据。
我在项目中遇到过一个问题：一个简单的向量加法，用CPU跑很快，但用GPU反而慢了。后来发现，是因为数据量太小，CUDA Core还没“热身”就结束了。说白了，CUDA Core适合“人海战术”，数据量越大，优势越明显。
核心要点：CUDA Core是GPU并行计算的基础单元。一个现代GPU通常有数千个CUDA Core。它们以32个为一组，称为一个Warp，这是GPU调度和执行的最小单位。
Tensor Core：AI计算的“特种兵”
Tensor Core是NVIDIA从Volta架构开始引入的“秘密武器”。它专门为矩阵乘法和累加运算设计。你想想看，深度学习里的卷积、全连接层，本质上都是矩阵运算。Tensor Core一次能处理一个4x4的小矩阵乘法，效率是CUDA Core的几十倍。
我记得有一次，我在训练一个BERT模型，用CUDA Core跑一个矩阵乘法，耗时2毫秒。换成Tensor Core后，直接降到0.1毫秒。这差距，就像骑自行车和坐高铁。
避坑指南：我曾经以为Tensor Core能自动加速所有运算。后来发现，它只对混合精度（FP16输入、FP32累加）的矩阵乘法有效。如果你用FP32，Tensor Core就“罢工”了。所以，使用Tensor Core前，务必确认你的数据格式和运算类型。
显存：GPU的“粮仓”
显存，就是GPU专用的内存。它负责存储待处理的数据和计算结果。显存带宽，是衡量GPU性能的关键指标之一。为什么？因为GPU计算速度极快，如果显存“喂”数据的速度跟不上，计算单元就会“饿肚子”。
我见过不少新手，买了顶级GPU，却用DDR4内存做数据交换。结果，GPU大部分时间都在等待数据，利用率不到30%。这就像给F1赛车装了个自行车轮胎，跑不快。
| 显存类型 | 带宽（GB/s） | 典型容量 | 适用场景 |
|---|---|---|---|
| GDDR6 | 500-1000 | 8-24 GB | 游戏、通用计算 |
| HBM2e | 1000-2000 | 16-80 GB | 高性能计算、AI训练 |
| HBM3 | 2000-3000+ | 40-144 GB | 顶级AI训练、科学计算 |
GPU与CPU的协同工作模式
很多人以为GPU能独立工作。其实不然。GPU是CPU的“协处理器”。它们俩的关系，就像将军和士兵。
CPU是将军，负责发号施令、处理复杂逻辑。GPU是士兵，负责执行大量重复的简单任务。具体流程是这样的：
- CPU端启动：CPU把数据从主存拷贝到显存。
- CPU下发指令：CPU告诉GPU：“嘿，执行这个Kernel函数。”
- GPU并行执行：GPU启动数千个线程，并行处理数据。
- 结果回传：GPU计算完成后，CPU把结果从显存拷贝回主存。
这里有个关键点：CPU和GPU是异步工作的。CPU下发指令后，不会傻等GPU完成，而是继续执行其他任务。直到需要结果时，CPU才会调用cudaDeviceSynchronize()等待GPU完成。
注意：我曾经犯过一个错误：在CPU和GPU之间频繁进行小数据量的拷贝。每次拷贝都有延迟，频繁操作导致性能急剧下降。正确的做法是：尽量批量传输数据，减少CPU与GPU的交互次数。
GPU的并行计算模型
GPU的并行计算模型，可以用一句话概括：单指令多线程（SIMT）。什么意思？就是所有线程执行相同的指令，但处理不同的数据。
举个例子。你要给1000个数字加1。CPU的做法是：循环1000次，每次加1。GPU的做法是：启动1000个线程，每个线程只负责一个数字的加法。所有线程同时执行“加1”这条指令。
这里有个重要的概念：线程层次结构。GPU把线程组织成三层：
- 线程（Thread）：最小的执行单元。
- 线程块（Block）：一组线程，可以共享显存和同步。
- 网格（Grid）：一组线程块，构成一个完整的Kernel。
我习惯用这个比喻：线程就像工人，线程块就像施工队，网格就像整个工地。每个施工队内部可以互相协作，但不同施工队之间不能直接通信。
// 一个简单的CUDA Kernel示例
__global__ void vector_add(float *a, float *b, float *c, int n) {
int idx = threadIdx.x + blockIdx.x * blockDim.x;
if (idx < n) {
c[idx] = a[idx] + b[idx];
}
}
// 调用方式
int block_size = 256;
int grid_size = (n + block_size - 1) / block_size;
vector_add<<<grid_size, block_size>>>(d_a, d_b, d_c, n);
你看，代码里指定了网格大小和线程块大小。GPU会自动把线程分配到不同的CUDA Core上执行。这就是GPU并行计算的精髓：你只需要告诉GPU“做什么”和“有多少数据”，GPU自己会搞定“怎么做”。
核心要点：GPU并行计算模型的核心是SIMT。它通过大量轻量级线程，隐藏内存访问延迟。当一个线程在等待数据时，GPU会立即切换到另一个就绪的线程。这种机制，让GPU即使面对高延迟的显存访问，也能保持高吞吐量。
嗯，说到这里，我想起一个经典问题：为什么GPU的线程切换成本很低？因为每个线程的上下文（寄存器、程序计数器）都保存在硬件中，切换时不需要操作系统介入。这跟CPU的线程切换完全不同。CPU切换线程需要保存和恢复大量状态，成本很高。GPU则通过硬件调度，实现了“零成本”线程切换。
好了，这一章的内容就到这里。GPU的硬件架构，说白了就是“人多力量大”。CUDA Core负责通用计算，Tensor Core专攻矩阵运算，显存保证数据供给。CPU和GPU协同工作，一个负责指挥，一个负责执行。并行计算模型，则让数千个线程同时工作，实现高性能计算。
想要更多资料，联系可可