第一章：CUDA开发环境搭建

大家好，我是你们这门课的老朋友。今天咱们聊聊CUDA开发的第一步——搭环境。

说实话，我见过太多人一上来就急着写核函数，结果环境没配好，编译报错一堆，心态直接崩了。我自己刚入行那会儿也踩过不少坑，所以这一章我会把经验都抖出来，帮你少走弯路。

1.1 GPU架构概述：你写的代码跑在什么上面？

先搞清楚一件事：GPU不是CPU。CPU擅长处理复杂的逻辑分支，而GPU是典型的“人多力量大”——成千上万个简单计算单元同时干活。

我习惯把GPU架构理解成一个工厂：

• SM（流多处理器）：相当于车间，每个车间有自己的生产线
• CUDA Core：生产线上的工人，负责具体计算
• 共享内存：车间内部的小仓库，工人之间可以快速传东西
• 全局内存：工厂的大仓库，所有人都能访问，但慢

你想想看，如果你让工人每次都跑大仓库拿材料，效率能高吗？所以优化CUDA程序，说白了就是让数据尽量待在车间里。

我记得第一次看Fermi架构的白皮书时，被那些框图搞得头晕。后来我画了一张简图，一下就明白了——你也试试看：

这张图我建议你存下来。每次写核函数前看一眼，想想你的数据在哪个层级流动——这是优化的起点。

1.2 CUDA Toolkit安装：别选错版本

安装CUDA Toolkit其实不复杂，但有个坑：版本匹配。

我个人习惯是：先查显卡驱动支持的CUDA版本，再装对应的Toolkit。怎么查？

# Linux下查看驱动版本和最高支持的CUDA版本
nvidia-smi

# 输出示例：
# CUDA Version: 12.4  ← 这个就是驱动支持的最高版本

安装步骤其实就三步：

1. 下载：去NVIDIA官网选对应操作系统和架构的runfile或deb包
2. 安装：我推荐用runfile方式，可控性更强。记得不要装驱动（如果你已经装好了）
3. 配置环境变量：把nvcc加到PATH里

# 我的.bashrc里是这样配的
export PATH=/usr/local/cuda-12.4/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64:$LD_LIBRARY_PATH

装完后验证一下：

nvcc --version
# 应该看到：Cuda compilation tools, release 12.4, V12.4.99

1.3 驱动配置：别让驱动拖后腿

驱动这玩意儿，很多人觉得装好就行。其实不然。

我遇到过最离谱的事：某次项目赶进度，发现训练速度只有正常的一半。查了半天，结果是NVIDIA驱动用了开源版nouveau。嗯，这玩意儿性能差得离谱。

另外，持久化模式一定要开：

sudo nvidia-persistenced --persistence-mode

为什么？默认情况下，GPU在没有任务时会自动降频。你写CUDA程序时，如果频繁启动退出，每次都要重新初始化——浪费时间。开了持久化模式，GPU一直保持就绪状态。

1.4 nvcc编译器验证：写个Hello World试试

环境搭好了，总得跑个程序验证一下。来，写个最简单的CUDA程序：

// hello.cu
#include <stdio.h>

__global__ void hello_kernel() {
    printf("Hello from thread %d in block %d\n", 
           threadIdx.x, blockIdx.x);
}

int main() {
    hello_kernel<<<2, 4>>>();
    cudaDeviceSynchronize();
    return 0;
}

编译运行：

nvcc -o hello hello.cu
./hello

你应该会看到8行输出（2个block × 4个thread）。如果看到了，恭喜你——环境没问题。

1.5 Nsight工具链简介：调试和优化的好帮手

写CUDA程序，光靠printf调试？太原始了。Nsight工具链才是专业玩家的选择。

我常用的三个工具：

工具	用途	我的使用场景
Nsight Systems	系统级性能分析	看CPU和GPU的时间线，找瓶颈在哪
Nsight Compute	核函数级分析	看每个核函数的占用率、带宽、指令效率
Nsight Graphics	图形调试	做图形学相关开发时用，我平时用得少

怎么用？举个例子：

# 用Nsight Systems分析程序
nsys profile -o output_profile ./my_cuda_program

# 用Nsight Compute分析具体核函数
ncu --kernel-name my_kernel ./my_cuda_program

我个人习惯是：先用Nsight Systems看整体，找到最耗时的核函数，再用Nsight Compute深入分析。这样效率最高。

好了，第一章就到这里。环境搭好了，下一章我们就要真正开始写核函数了。记住：工欲善其事，必先利其器。环境搭得稳，后面才能跑得快。

---