3、GPU驱动与CUDA环境部署：NVIDIA驱动安装、CUDA Toolkit安装、cuDNN配置、环境验证
说到GPU集群的底层环境搭建，驱动和CUDA绝对是绕不开的第一道坎。我见过太多团队，算法模型写得漂漂亮亮，结果一上集群就报错——查了半天，原来是驱动版本和CUDA Toolkit没对齐。说白了，这就像盖楼打地基，地基歪了，上面再花哨也没用。
核心逻辑：NVIDIA驱动 → CUDA Toolkit → cuDNN → 环境验证。每一步都依赖上一步，顺序不能乱。
3.1 NVIDIA驱动安装
驱动是GPU和操作系统之间的桥梁。没有它，系统根本认不出显卡。我个人习惯在装驱动前先做一件事：确认GPU型号和系统架构。
为什么？因为不同型号的GPU，驱动版本要求不一样。比如A100和V100，虽然都是数据中心卡，但驱动分支有差异。我曾经在项目里吃过这个亏——给A100装了个V100的驱动，结果nvidia-smi能认出来，但一跑训练就报错，折腾了两天才发现是驱动不匹配。
3.1.1 确认硬件信息
# 查看GPU型号
lspci | grep -i nvidia
# 查看系统架构
uname -m && cat /etc/os-release拿到信息后，去NVIDIA官网下载对应驱动。我个人推荐用runfile方式安装，虽然比包管理器麻烦点，但可控性更强。尤其是在集群环境里，你不想被apt或yum自动升级搞出兼容性问题。
3.1.2 安装步骤
- 卸载旧驱动（如果有的话）
# 清理旧驱动
sudo apt-get purge nvidia-* # Ubuntu/Debian
sudo yum remove nvidia-* # CentOS/RHEL注意：如果之前装过Nouveau开源驱动，一定要先禁用。否则新驱动装不上。我曾经在CentOS 7上踩过这个坑，黑屏了一下午。
- 安装驱动
# 给runfile加执行权限
chmod +x NVIDIA-Linux-x86_64-*.run
# 执行安装
sudo ./NVIDIA-Linux-x86_64-*.run --no-opengl-files这里我习惯加--no-opengl-files参数。为什么？因为服务器不需要图形界面，装OpenGL反而可能和桌面环境冲突。你想想看，一个纯计算集群，要OpenGL干嘛？
- 验证驱动
nvidia-smi如果能看到GPU列表、驱动版本、显存信息，说明驱动装好了。嗯，这里要注意：驱动版本号要记下来，后面选CUDA版本要用。
3.2 CUDA Toolkit安装
驱动装好了，GPU能工作了。但要让程序真正用上GPU的算力，还需要CUDA Toolkit。它包含了编译器、运行时库、开发工具等。
说白了，驱动是让系统认识GPU，CUDA Toolkit是让程序能用GPU。
3.2.1 版本选择
这里有个关键点：CUDA版本和驱动版本有对应关系。不是随便装个最新版就能用。我建议去NVIDIA官网查一下兼容性矩阵。
| CUDA Toolkit版本 | 最低驱动版本 | 推荐驱动版本 |
|---|---|---|
| CUDA 11.8 | 520.61.05 | 525.85.12 |
| CUDA 12.0 | 525.60.13 | 530.30.02 |
| CUDA 12.1 | 530.30.02 | 535.54.03 |
我的经验：不要追最新版。选一个经过广泛验证的版本，比如CUDA 11.8或12.1。我在生产环境里一直用11.8，稳定得一批。
3.2.2 安装方式
我推荐用runfile方式安装CUDA Toolkit。虽然NVIDIA也提供deb/rpm包，但runfile更灵活，可以自定义安装路径。
# 下载CUDA Toolkit runfile
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
# 执行安装
sudo sh cuda_11.8.0_520.61.05_linux.run --toolkit --silent --override注意参数：--toolkit表示只装Toolkit部分，不装驱动（驱动我们已经装好了）。--silent是静默安装，适合批量部署。
3.2.3 配置环境变量
# 添加到 ~/.bashrc 或 /etc/profile
export PATH=/usr/local/cuda-11.8/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH我个人习惯把CUDA装到/usr/local/cuda这个软链接路径下。这样以后升级版本，只需要改软链接指向，不用改环境变量。
3.3 cuDNN配置
cuDNN是NVIDIA针对深度学习场景优化的加速库。它封装了卷积、池化、归一化等常用操作，比手写CUDA快得多。
说白了，cuDNN就是深度学习的「加速包」。没有它，TensorFlow、PyTorch也能跑，但速度会慢很多。
3.3.1 下载与安装
cuDNN需要注册NVIDIA开发者账号才能下载。下载时注意选择和CUDA版本匹配的cuDNN版本。
# 解压cuDNN包
tar -xzvf cudnn-linux-x86_64-8.9.0.131_cuda11-archive.tar.xz
# 复制文件到CUDA目录
sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include/
sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64/
# 设置权限
sudo chmod a+r /usr/local/cuda/include/cudnn*.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*注意：复制库文件时一定要用-P参数保留软链接。我见过有人直接cp，结果软链接变成了普通文件，运行时疯狂报错。
3.3.2 验证cuDNN
# 查看cuDNN版本
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2如果能输出版本号，说明cuDNN配置成功。
3.4 环境验证
所有东西都装好了，怎么确认环境没问题？我一般做三步验证：
3.4.1 验证驱动
nvidia-smi看GPU状态、驱动版本、CUDA版本（这里显示的是驱动支持的CUDA版本，不是Toolkit版本）。
3.4.2 验证CUDA Toolkit
nvcc --version输出应该显示CUDA Toolkit的版本号。如果提示command not found，说明环境变量没配好。
3.4.3 验证cuDNN
# 编译cuDNN示例程序
cp -r /usr/src/cudnn_samples_v8/ $HOME
cd $HOME/cudnn_samples_v8/mnistCUDNN
make clean && make
./mnistCUDNN如果输出Test passed!，说明cuDNN工作正常。
避坑指南：我曾经在验证环节卡了一整天。原因是系统里同时装了多个CUDA版本，环境变量指向了旧版本。后来我统一用/usr/local/cuda软链接管理版本，再也没出过问题。
3.5 常见问题与排查
- nvidia-smi报错「No devices were found」：大概率是驱动没装好，或者GPU被其他进程占用了。重启一下试试。
- nvcc --version报错：检查环境变量
PATH和LD_LIBRARY_PATH是否配置正确。 - cuDNN编译报错：检查cuDNN版本是否和CUDA版本匹配。不匹配的话，重新下载对应版本。
- 运行深度学习框架报CUDA错误：可能是驱动版本太低，不支持框架要求的CUDA特性。升级驱动或降级框架版本。
嗯，环境部署这块其实不难，但细节特别多。你只要记住一个原则：版本对齐。驱动、CUDA Toolkit、cuDNN、深度学习框架，这四个东西的版本必须互相兼容。我每次部署新集群，都会先列一个版本兼容性表格，贴在机柜上。省得以后忘了。
想要更多资料，联系可可