第一章：CUDA入门：GPU架构演进、CUDA编程模型、CUDA开发环境搭建

各位同学，欢迎来到《CUDA高性能AI训练实战精讲》。我是你们的老朋友，一个在GPU计算领域摸爬滚打了十来年的工程师。今天咱们开篇，不讲虚的，直接聊点实在的——你得先搞清楚GPU这玩意儿到底是怎么演变的，CUDA编程到底是个什么模型，以及最关键的，怎么把环境搭起来。

说实话，我见过太多人一上来就写kernel，结果跑起来各种报错，最后发现是驱动版本不对。嗯，咱们先把地基打牢。

1.1 GPU架构演进：从图形卡到通用计算引擎

GPU最初是干嘛的？给游戏玩家渲染画面的。你想想看，一个3D游戏里，成千上万个顶点要变换、像素要着色，这活儿天生就适合并行干。所以GPU的设计哲学从一开始就跟CPU不一样：CPU是“单核超强，缓存巨大”，GPU是“核心巨多，但每个核心很弱”。

我个人习惯把GPU架构的演进分成几个关键节点：

• Fermi架构（2010年）：这是NVIDIA真正为通用计算设计的架构。我记得当时第一次用Fermi跑科学计算，感觉就像打开了新世界的大门。它引入了真正的L1/L2缓存层次，支持ECC内存纠错。
• Kepler架构（2012年）：能效比大幅提升，引入了动态并行（Dynamic Parallelism）——GPU自己就能启动新的kernel，不用每次都回CPU。这个特性在AI训练里非常有用。
• Maxwell架构（2014年）：进一步优化了功耗，但说实话，在AI领域它只是个过渡。
• Pascal架构（2016年）：这是AI训练的一个里程碑。NVLink高速互联、统一内存（Unified Memory）让编程简化了不少。我当年用P100跑ResNet-50，训练速度直接翻倍。
• Volta架构（2017年）：引入了Tensor Core！这玩意儿专门为矩阵乘法设计的，AI训练的核心操作。V100至今仍是很多数据中心的标配。
• Turing架构（2018年）：加入了RT Core做光线追踪，但Tensor Core也升级了，支持INT8/INT4量化推理。
• Ampere架构（2020年）：A100，第三代Tensor Core，支持稀疏化计算，显存带宽飙到2TB/s。我目前在用的主力卡就是A100，跑大模型确实爽。
• Hopper架构（2022年）：H100，引入了Transformer Engine和DPX指令集，专门为Transformer模型优化。说白了，就是为ChatGPT这类大模型量身定做的。

下面这张图，是我自己画的GPU架构演进脉络图，你可以直观地看到从Fermi到Hopper的关键变化：

1.2 CUDA编程模型：你该怎么跟GPU说话

好，架构讲完了，咱们聊聊怎么编程。CUDA编程模型，说白了就是一套“你指挥GPU干活”的规则。

核心概念其实就三个：

• Host（主机）：CPU和它的内存。你写的主程序跑在这儿。
• Device（设备）：GPU和它的显存。真正的计算在这儿发生。
• Kernel（内核）：在GPU上运行的函数。你用__global__关键字声明它。

你想想看，一个典型的CUDA程序流程是这样的：

1. 在Host上分配内存，准备好数据。
2. 在Device上分配显存，把数据从Host拷贝过去。
3. 调用Kernel，让GPU干活。
4. 把结果从Device拷回Host。
5. 释放资源。

嗯，听起来很简单对吧？但坑就在细节里。我举个例子：

// 一个简单的向量加法Kernel
__global__ void vecAdd(float* A, float* B, float* C, int N) {
    int i = blockIdx.x * blockDim.x + threadIdx.x;
    if (i < N) {
        C[i] = A[i] + B[i];
    }
}

int main() {
    int N = 1 << 20;  // 100万个元素
    size_t size = N * sizeof(float);
    
    // 1. 分配Host内存
    float *h_A, *h_B, *h_C;
    h_A = (float*)malloc(size);
    h_B = (float*)malloc(size);
    h_C = (float*)malloc(size);
    
    // 初始化数据...
    
    // 2. 分配Device显存
    float *d_A, *d_B, *d_C;
    cudaMalloc(&d_A, size);
    cudaMalloc(&d_B, size);
    cudaMalloc(&d_C, size);
    
    // 3. 拷贝数据到Device
    cudaMemcpy(d_A, h_A, size, cudaMemcpyHostToDevice);
    cudaMemcpy(d_B, h_B, size, cudaMemcpyHostToDevice);
    
    // 4. 调用Kernel
    int threadsPerBlock = 256;
    int blocksPerGrid = (N + threadsPerBlock - 1) / threadsPerBlock;
    vecAdd<<<blocksPerGrid, threadsPerBlock>>>(d_A, d_B, d_C, N);
    
    // 5. 拷贝结果回Host
    cudaMemcpy(h_C, d_C, size, cudaMemcpyDeviceToHost);
    
    // 6. 释放资源
    cudaFree(d_A);
    cudaFree(d_B);
    cudaFree(d_C);
    free(h_A);
    free(h_B);
    free(h_C);
    
    return 0;
}

这里有个关键概念——线程层次结构。CUDA把线程组织成三层：

• Thread（线程）：最小的执行单元。
• Block（线程块）：一组线程，可以共享显存（Shared Memory），也可以同步。
• Grid（网格）：一组Block，构成整个Kernel。

为什么这么设计？说白了，是为了适配GPU的硬件架构。一个Block里的线程跑在同一个SM（Streaming Multiprocessor）上，共享资源。Block太多或太少都会影响性能。

1.3 CUDA开发环境搭建：别让环境卡住你

好，理论讲完了，咱们动手。环境搭建这事儿，说难不难，说简单也不简单。我见过太多人卡在这一步。

你需要装三样东西：

1. NVIDIA驱动：让操作系统认识你的GPU。
2. CUDA Toolkit：包含编译器（nvcc）、库文件、开发工具。
3. cuDNN：NVIDIA的深度学习库，专门优化了卷积、RNN等操作。

安装顺序很重要：先装驱动，再装CUDA Toolkit，最后装cuDNN。别搞反了。

1.3.1 安装NVIDIA驱动

我个人习惯去NVIDIA官网下载对应显卡的最新驱动。你可以用nvidia-smi命令检查驱动是否装好：

$ nvidia-smi
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.85.05    Driver Version: 525.85.05    CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  NVIDIA A100-SXM4...  Off  | 00000000:00:04.0 Off |                    0 |
| N/A   32°C    P0    45W / 400W |      0MiB / 40960MiB |      0%      Default |
|-------------------------------+----------------------+----------------------+

看到这个输出，说明驱动装好了。注意看右上角的CUDA Version: 12.0，这是你的驱动支持的CUDA最高版本。

1.3.2 安装CUDA Toolkit

去NVIDIA官网下载对应系统的CUDA Toolkit安装包。我建议用runfile方式安装，因为你可以选择安装路径，方便管理多个版本。

$ wget https://developer.download.nvidia.com/compute/cuda/12.0.0/local_installers/cuda_12.0.0_525.60.13_linux.run
$ sudo sh cuda_12.0.0_525.60.13_linux.run

安装完成后，配置环境变量：

export PATH=/usr/local/cuda-12.0/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.0/lib64:$LD_LIBRARY_PATH

验证安装：

$ nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Wed_Sep_21_10:41:10_PDT_2022
Cuda compilation tools, release 12.0, V12.0.140
Build cuda_12.0.r12.0/compiler.32267302_0

1.3.3 安装cuDNN

cuDNN需要注册NVIDIA开发者账号才能下载。下载后解压，把文件拷贝到CUDA Toolkit目录下：

$ tar -xzvf cudnn-linux-x86_64-8.9.0.131_cuda12-archive.tar.xz
$ sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda-12.0/include
$ sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda-12.0/lib64
$ sudo chmod a+r /usr/local/cuda-12.0/include/cudnn*.h /usr/local/cuda-12.0/lib64/libcudnn*

验证cuDNN版本：

$ cat /usr/local/cuda-12.0/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
#define CUDNN_MAJOR 8
#define CUDNN_MINOR 9
#define CUDNN_PATCHLEVEL 0

1.4 第一个CUDA程序：Hello World

环境搭好了，咱们写个程序庆祝一下。虽然有点老套，但Hello World确实能验证一切是否正常：

#include <stdio.h>

__global__ void helloFromGPU() {
    printf("Hello World from GPU thread %d in block %d!\n", 
           threadIdx.x, blockIdx.x);
}

int main() {
    printf("Hello World from CPU!\n");
    
    helloFromGPU<<<2, 4>>>();
    cudaDeviceSynchronize();
    
    return 0;
}

编译运行：

$ nvcc hello.cu -o hello
$ ./hello
Hello World from CPU!
Hello World from GPU thread 0 in block 0!
Hello World from GPU thread 1 in block 0!
Hello World from GPU thread 2 in block 0!
Hello World from GPU thread 3 in block 0!
Hello World from GPU thread 0 in block 1!
Hello World from GPU thread 1 in block 1!
Hello World from GPU thread 2 in block 1!
Hello World from GPU thread 3 in block 1!

看到没？2个Block，每个Block里4个线程，一共8个线程在GPU上并行执行。顺序是不确定的，但每个线程都打印了自己的坐标。

想要更多资料，联系可可