📚 课程目录第2章 AI计算基础

AI计算基础：传统CPU计算瓶颈、并行计算概念、GPU与CPU架构对比

一、核心原理：从“单车道快车”到“千车道并行”

AI计算的核心负载是矩阵乘法与张量运算。以一次全连接层前向传播为例，输出向量 y = W·x + b，其中权重矩阵 W 的维度可能是 [4096, 4096]，这意味着单次计算需要完成约 1600 万次乘加操作。传统CPU虽然单核频率高、缓存大，但其设计目标是低延迟处理复杂分支逻辑，而非高吞吐量的重复数学运算。

CPU的瓶颈体现在三个层面：

核心数量有限：主流服务器CPU通常为 8～64 个物理核心，每个核心擅长执行串行指令流，面对海量并行数据时，核心数成为硬上限。
指令集开销大：CPU需要处理分支预测、乱序执行、寄存器重命名等复杂逻辑，这些晶体管开销挤占了本可用于浮点运算的资源。
内存带宽受限：CPU内存通道通常为 4～8 个 DDR4/DDR5 通道，理论带宽约 50～100 GB/s，而AI模型权重与中间激活值动辄数百MB，数据搬运时间远超计算时间。

并行计算的核心思想是将大任务拆解为可同时执行的小任务。在AI场景中，这种并行性天然存在：矩阵的每一行乘法、每一个卷积核的滑动窗口、每一个batch样本的推理，彼此之间没有数据依赖，可以同时计算。GPU正是为此而生——它牺牲单核复杂度，换取数千个简单计算核心的并行吞吐。

关键量化对比：以NVIDIA A100 GPU为例，其拥有 6912 个CUDA核心，单精度浮点算力约 19.5 TFLOPS；而高端服务器CPU（如AMD EPYC 7763）单精度算力约 2 TFLOPS。在矩阵乘法这类规则运算中，GPU可提供近 10 倍的理论加速比。

二、方法流程：并行计算的三种粒度与CUDA编程模型

理解GPU编程，需要掌握并行计算的三个层次：

任务级并行：多个独立任务同时执行（如同时处理多个用户请求）。CPU多核擅长此模式。
数据级并行：同一操作应用于大量数据元素（如对1万个像素做颜色变换）。GPU的SIMT（单指令多线程）架构专为此设计。
指令级并行：单核内同时执行多条无依赖指令。CPU通过流水线和乱序执行实现。

在GPU编程中，CUDA将线程组织为三层结构：

// CUDA 线程层次示例
dim3 blockDim(16, 16);    // 每个线程块包含 16×16 = 256 个线程
dim3 gridDim(64, 64);     // 线程网格包含 64×64 = 4096 个线程块
// 总线程数 = 4096 × 256 = 1,048,576 个线程

// 矩阵乘法核函数（简化版）
__global__ void matMul(float* A, float* B, float* C, int N) {
    int row = blockIdx.y * blockDim.y + threadIdx.y;
    int col = blockIdx.x * blockDim.x + threadIdx.x;
    float sum = 0.0f;
    for (int k = 0; k < N; k++) {
        sum += A[row * N + k] * B[k * N + col];
    }
    C[row * N + col] = sum;
}

执行流程遵循以下步骤：

数据准备：将输入数据从CPU内存拷贝到GPU显存（通过PCIe总线，带宽约 32 GB/s）。
核函数启动：CPU发出指令，GPU以网格为单位调度线程块到SM（流式多处理器）上。
并行执行：每个SM内的线程以32个为一组（称为warp）执行，硬件自动调度warp隐藏内存延迟。
结果回传：计算完成后将结果从显存拷贝回CPU内存。

关键认知：GPU的并行效率高度依赖数据局部性。当线程访问连续内存地址时，硬件可合并为一次内存事务，效率提升数倍。因此，编写GPU代码时需将数据布局设计为“线程连续访问相邻地址”。

三、案例/场景：从矩阵乘法看CPU与GPU的实测差异

我们以 4096×4096 的浮点矩阵乘法为例，对比不同硬件的实测性能（数据基于公开基准测试）：

硬件平台	理论算力	实测耗时	功耗	能效比
Intel Xeon Platinum 8380（40核）	~1.5 TFLOPS	~45 ms	270 W	0.12 GFLOPS/W
NVIDIA A100（80GB）	19.5 TFLOPS	~3.2 ms	400 W	1.63 GFLOPS/W
NVIDIA H100 SXM	67 TFLOPS	~1.1 ms	700 W	3.19 GFLOPS/W

从数据可以看出：

GPU相比CPU在矩阵乘法上实现了 14～40 倍 的加速。
能效比差距更为显著，H100的每瓦性能是CPU的 26 倍。
但CPU在小规模矩阵（如 64×64）或强依赖串行逻辑的任务中，因启动开销低，反而可能更快。

实际工程经验：当矩阵维度小于 512 时，GPU的核函数启动开销（约 5～10 微秒）和PCIe传输延迟会占据主导，此时CPU的MKL库（利用AVX-512指令集）往往表现更优。因此，生产系统常采用“CPU处理小批量/分支逻辑，GPU处理大批量/稠密计算”的异构策略。

四、误区/复盘：并行计算的常见认知陷阱

误区一：GPU核心数多，所有任务都会更快。实际上，GPU核心频率较低（约1.4～1.8 GHz），且每个线程的独立执行能力弱。若任务包含大量分支判断（如 if (data[i] > threshold)），warp内线程会产生分支发散，导致部分线程等待，效率骤降。

误区二：并行计算就是“多开线程”。线程数量超过硬件可同时执行的线程数时，额外的线程只会增加调度开销。A100每个SM最多驻留 2048 个线程，过高的线程数会导致寄存器溢出到本地内存，反而降低性能。

误区三：忽略内存带宽瓶颈。矩阵乘法中，若数据无法驻留缓存，计算单元将大部分时间处于等待状态。以A100为例，其HBM带宽为 1.6 TB/s，而计算峰值需要 19.5 TFLOPS × 4字节 = 78 TB/s 的数据供给，因此必须依赖共享内存和寄存器复用数据，否则实际性能仅为峰值的 2%。

复盘要点：在AI工程中，判断是否该用GPU，不应只看“计算量”，而应计算算术强度（操作数/字节）。算术强度高于 10 FLOP/Byte 的任务（如大矩阵乘法、卷积）适合GPU；低于 1 FLOP/Byte 的任务（如向量逐元素相加）受限于内存带宽，GPU优势不明显。

最后，理解CPU与GPU的架构差异，是后续学习CUDA优化、Tensor Core使用、分布式训练的基础。核心结论是：CPU追求低延迟的复杂控制，GPU追求高吞吐的简单计算。AI训练以稠密矩阵运算为主，天然适配GPU；而数据预处理、模型部署中的控制逻辑，仍离不开CPU的灵活性。两者协同，才是AI计算的最佳实践。