2. CUDA环境搭建与工具链：NVIDIA驱动、CUDA Toolkit、cuDNN安装，nvcc编译器使用，Nsight Systems/Nsight Compute性能分析工具入门

说实话，很多搞AI训练的朋友，一开始都栽在环境搭建上。我见过太多人，模型写得挺漂亮，结果一跑就报错，最后发现是CUDA版本没对上。嗯，这章咱们就把这事彻底捋清楚。

2.1 三件套：驱动、Toolkit、cuDNN

这三样东西，就像做饭的锅、灶、菜刀。少一样你都干不了活。我个人的习惯是：先装驱动，再装CUDA Toolkit，最后配cuDNN。顺序别搞反了。

2.1.1 NVIDIA驱动

驱动是底层的东西。你跑nvidia-smi能看到显卡信息，就说明驱动装好了。这里有个坑——驱动版本要和CUDA版本匹配。我曾经遇到过，驱动太老，CUDA 12.0死活装不上，折腾了一下午才发现是驱动没升级。

nvidia-smi
# 看右上角的 "CUDA Version" 字段

驱动安装很简单，去NVIDIA官网下载对应型号的驱动就行。我建议用推荐驱动（Studio Driver），别追最新版，稳定第一。

2.1.2 CUDA Toolkit

Toolkit是开发的核心。它包含了nvcc编译器、CUDA运行时库、各种工具。安装时注意：

• 版本选择：PyTorch/TensorFlow对CUDA版本有要求。比如PyTorch 2.0以上推荐CUDA 11.8或12.1。我一般会查一下框架的官方文档再决定。
• 安装路径：默认装到/usr/local/cuda。我个人习惯用软链接管理多个版本：

# 安装多个版本后
ln -s /usr/local/cuda-11.8 /usr/local/cuda  # 切换到11.8
ln -s /usr/local/cuda-12.1 /usr/local/cuda  # 切换到12.1

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

2.1.3 cuDNN

cuDNN是NVIDIA针对深度学习优化的库。说白了，它让卷积、池化这些操作跑得更快。安装其实很简单：

1. 去NVIDIA官网下载对应CUDA版本的cuDNN（需要注册账号）
2. 解压后把文件复制到CUDA目录：

tar -xzvf cudnn-linux-x86_64-8.9.0.131_cuda11-archive.tar.xz
sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include
sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

2.2 nvcc编译器：你的第一个CUDA程序

nvcc是CUDA的编译器。它会把.cu文件编译成可执行文件。来，咱们写个最简单的程序试试：

// hello.cu
#include <stdio.h>

__global__ void hello_kernel() {
    printf("Hello from GPU thread %d\n", threadIdx.x);
}

int main() {
    hello_kernel<<<1, 5>>>();
    cudaDeviceSynchronize();
    return 0;
}

编译运行：

nvcc -o hello hello.cu
./hello

你会看到5个GPU线程打印信息。嗯，这就是你的第一个CUDA程序。简单吧？

这里说几个nvcc的常用参数：

2.3 Nsight Systems：宏观性能分析

Nsight Systems是个时间线分析工具。它能告诉你：程序的时间都花在哪了。是计算？是数据传输？还是同步等待？

使用很简单：

nsys profile -o my_profile ./my_cuda_program

运行完后会生成一个.nsys-rep文件。用Nsight Systems GUI打开，你会看到类似这样的时间线：

你看，这个图里GPU大部分时间在计算，但CPU在同步等待。这说明什么？说明数据传输和计算没有重叠。这就是优化的切入点。

2.4 Nsight Compute：微观性能分析

Nsight Systems告诉你哪里慢，Nsight Compute告诉你为什么慢。它能深入到每个Kernel内部，分析计算吞吐、内存带宽、指令效率等。

使用方式：

ncu -o my_kernel_analysis ./my_cuda_program

打开生成的.ncu-rep文件，你会看到类似这样的报告：

看到这个数据，我第一反应是：内存带宽利用率太低。这说明Kernel是内存受限的。优化方向应该是：减少全局内存访问、使用共享内存、合并访问等。

2.5 避坑指南

这些年我踩过的坑，总结一下：

• 版本不匹配：驱动、CUDA、cuDNN、PyTorch，这四个版本必须对齐。我建议用nvidia-smi看驱动支持的CUDA版本，然后选对应的Toolkit。
• 环境变量没配：装完CUDA后，nvcc --version报错？八成是PATH没配好。
• 权限问题：sudo apt install装驱动时，记得加--no-install-recommends，否则会装一堆用不到的包。
• Nsight工具打不开：检查一下DISPLAY环境变量，远程服务器上要用ssh -X或者用命令行模式。

嗯，环境搭建这块就这些。说白了，就是版本对齐、路径配好、工具会用。搞定了这些，后面的优化才有基础。你想想看，如果连环境都没搭好，还谈什么性能优化呢？