GPU基础：GPU架构简介、GPU与CPU的区别、GPU在计算中的角色
核心原理：从“单核极速”到“众核并行”的架构设计
要理解GPU在计算中的角色，首先需要看清它的硬件架构本质。CPU（中央处理器）与GPU（图形处理器）的设计哲学截然不同：CPU追求低延迟，即用尽可能少的时钟周期完成单个复杂任务；而GPU追求高吞吐量，即在同一时钟周期内并行处理成千上万个简单任务。
现代GPU（如NVIDIA Ampere架构、AMD CDNA系列）内部由大量流处理器（SM，Streaming Multiprocessor）组成。每个SM包含数十个甚至上百个CUDA核心（或流处理器单元），它们共享寄存器文件、共享内存和调度器。以NVIDIA A100为例，其拥有108个SM，每个SM包含64个FP32 CUDA核心，总计6912个核心。这些核心被组织为多个线程块（Thread Block），线程块再组成网格（Grid），由硬件调度器动态分配到SM上执行。
GPU的存储层次也围绕并行设计：全局内存（Global Memory）容量大但延迟高（数百周期）；共享内存（Shared Memory）位于SM内部，延迟极低（约20-30周期），供同一线程块内线程协作；寄存器文件速度最快，但容量有限。理解这一层次是优化GPU程序性能的基础。
关键概念：GPU的“并行”并非简单的多核堆叠，而是SIMT（单指令多线程）执行模型——同一指令被多个线程同时执行，但每个线程处理不同的数据。这与CPU的MIMD（多指令多数据）模型有本质区别。
方法流程：CPU与GPU的分工协作模式
在实际计算系统中，CPU与GPU并非竞争关系，而是异构协作关系。典型的GPU加速计算流程遵循以下步骤：
- 数据准备（CPU负责）：CPU将输入数据从磁盘或网络加载到系统内存，并完成必要的预处理（如格式转换、归一化）。
- 数据传输（PCIe总线）：通过PCIe或NVLink接口，将数据从系统内存拷贝到GPU显存。这一步通常是性能瓶颈之一，因为PCIe 4.0 x16的理论带宽约32GB/s，远低于GPU显存带宽。
- 内核启动（Kernel Launch）：CPU向GPU提交计算任务（Kernel），指定网格和线程块尺寸。GPU调度器将线程块分配到SM上执行。
- 并行计算（GPU执行）：GPU内成千上万个线程同时执行相同的计算指令，处理不同数据。计算过程中，线程间通过共享内存和全局内存通信。
- 结果回传：计算完成后，GPU将结果数据拷贝回系统内存，CPU进行后续处理或输出。
性能要点：PCIe传输开销不可忽视。对于小规模数据（<1MB），传输延迟可能超过计算时间，导致GPU加速无效。通常建议：数据规模越大、计算密度越高，GPU加速效果越明显。例如，矩阵乘法（如1024×1024以上）的加速比可达数十倍，而简单的向量加法可能仅加速2-3倍。
案例/场景：三种典型计算负载的角色分配
| 场景 | CPU角色 | GPU角色 | 典型加速比 |
|---|---|---|---|
| 深度学习训练（ResNet-50） | 数据预处理、模型调度、日志记录 | 卷积、矩阵乘、反向传播 | 20-50×（vs CPU-only） |
| 科学计算（分子动力学模拟） | 参数设置、结果分析、I/O管理 | 非键相互作用力计算、积分 | 10-30× |
| 数据分析（Pandas/Spark） | 数据清洗、逻辑判断、SQL查询 | 大规模排序、过滤、聚合（cuDF） | 5-15× |
以深度学习为例，GPU的Tensor Core专门为矩阵乘加运算设计，支持混合精度（FP16/FP32），可在单个时钟周期内完成4×4矩阵乘法。而CPU的AVX-512向量指令虽然也能做矩阵运算，但其并行宽度（512位）远小于GPU的数千位并行宽度。
误区/复盘：GPU使用的常见认知偏差
误区1：GPU核心数越多，程序一定越快。
事实：GPU的并行优势需要足够的并行度才能发挥。如果程序存在严重的数据依赖（如串行递归），或分支发散（warp divergence），大量核心会处于空闲状态。例如，链表遍历、依赖型循环等任务在GPU上可能比CPU更慢。
事实：GPU的并行优势需要足够的并行度才能发挥。如果程序存在严重的数据依赖（如串行递归），或分支发散（warp divergence），大量核心会处于空闲状态。例如，链表遍历、依赖型循环等任务在GPU上可能比CPU更慢。
误区2：所有计算任务都适合GPU。
事实：以下任务不适合GPU：
事实：以下任务不适合GPU：
- 逻辑分支密集的任务（如编译器、操作系统调度）
- 小规模数据（<10K元素）的简单运算
- 需要频繁CPU-GPU同步的任务
- I/O密集型任务（如文件读写、网络请求）
复盘建议：在决定使用GPU前，先回答三个问题：
1. 数据规模是否足够大（至少>1MB）？
2. 计算模式是否为数据并行（相同操作作用于不同数据）？
3. 计算密度是否高（计算时间 >> 内存访问时间）？
如果三个答案均为“是”，GPU加速才值得投入。
1. 数据规模是否足够大（至少>1MB）？
2. 计算模式是否为数据并行（相同操作作用于不同数据）？
3. 计算密度是否高（计算时间 >> 内存访问时间）？
如果三个答案均为“是”，GPU加速才值得投入。