GPU计算基础：GPU架构、CUDA核心、显存层次与计算范式差异

核心原理：GPU为何而生

GPU（图形处理器）最初为并行渲染设计，其本质是大规模并行吞吐架构。与CPU追求低延迟、复杂控制不同，GPU将更多晶体管用于算术逻辑单元（ALU）和数据通路，以牺牲单核复杂度换取数千个计算核心的并发执行能力。理解GPU计算，首先需要建立三个基本认知：

• 并行粒度：GPU以“线程束（Warp）”为调度单位，NVIDIA架构中每32个线程组成一个Warp，它们在同一指令下执行不同数据（SIMT模型）。
• 层级结构：从GPU芯片→流多处理器（SM）→CUDA核心→线程束→线程，形成严格的硬件层级，软件线程层级（Grid→Block→Thread）与之映射。
• 异构计算：GPU从不独立工作，它作为CPU的协处理器，通过PCIe或NVLink总线通信，形成“CPU负责控制流+GPU负责数据并行”的协作模式。

CUDA核心与线程模型

CUDA核心并非独立处理器，而是单精度浮点/整数运算单元。每个SM包含多个CUDA核心，它们共享指令获取与调度逻辑。软件层面的线程层级与硬件执行单元存在精妙的映射关系：

1. Grid（网格）：对应一次内核启动，包含所有Block。
2. Block（线程块）：映射到SM，Block内线程可通过共享内存通信。
3. Warp（线程束）：硬件实际调度单位，32个线程同步执行。
4. Thread（线程）：最小执行单元，拥有私有寄存器和程序计数器。

一个典型的内核启动配置如下：

// 定义内核函数
__global__ void vectorAdd(float *A, float *B, float *C, int N) {
    int idx = blockIdx.x * blockDim.x + threadIdx.x;
    if (idx < N) {
        C[idx] = A[idx] + B[idx];
    }
}

// 主机端启动配置
int threadsPerBlock = 256;
int blocksPerGrid = (N + threadsPerBlock - 1) / threadsPerBlock;
vectorAdd<<<blocksPerGrid, threadsPerBlock>>>(d_A, d_B, d_C, N);

当Block数量远超SM数量时，GPU通过硬件线程调度器自动排队执行，隐藏内存访问延迟——这是GPU实现高吞吐的关键机制。

GPU计算与CPU计算的区别

实际部署中，CPU负责任务调度、数据预处理和I/O操作，GPU专注于矩阵乘法、卷积等计算密集型操作。两者通过异步拷贝引擎重叠数据传输与计算，最大化资源利用率。

案例：矩阵乘法中的架构体现

以常见的大规模矩阵乘法 C = A × B（维度 4096×4096）为例，GPU执行过程如下：

• 数据准备：CPU将矩阵从系统内存拷贝至显存（使用cudaMemcpy）。
• 内核配置：选择16×16的Block，每个线程计算C矩阵的一个元素。
• 共享内存优化：将A和B的分块加载到共享内存，减少全局内存访问次数。
• Warp执行：每个Warp的32个线程访问连续内存地址，实现合并访问（Coalesced Access）。
• 结果回传：计算完成后将结果从显存拷贝回系统内存。

通过ncu（NVIDIA Nsight Compute）分析，可观察到SM占用率、共享内存Bank冲突、全局内存吞吐量等关键指标，这些参数直接决定性能上限。

常见误区与复盘