📚 课程目录第4章操作系统与基础环境配置

4. 操作系统与基础环境配置

AI训练平台的底层稳定性，往往不取决于上层框架多么先进，而取决于操作系统、驱动与容器运行时这三层地基是否扎实。本章聚焦Ubuntu Server 22.04 LTS环境，从Linux内核参数调优开始，依次完成NVIDIA驱动、CUDA、cuDNN的安装验证，最后落地Docker与NVIDIA Container Toolkit配置。每一步都配有可直接执行的命令与验证方法，帮助你建立一套可复现的基础环境搭建流程。

4.1 核心原理：三层依赖关系与性能瓶颈

AI训练平台的底层调用链可以抽象为“硬件 → 内核 → 驱动 → 运行时 → 框架”的五层模型。GPU计算任务从PyTorch/TensorFlow发起，经过CUDA运行时库、NVIDIA内核驱动，最终到达GPU硬件。任何一层的版本不匹配或配置不当，都会导致训练中断或性能严重劣化。

关键认知：CUDA不是单一的软件包，而是“驱动 + 运行时 + 工具库”的集合。NVIDIA驱动负责操作系统与GPU硬件之间的通信，CUDA Toolkit提供开发与运行所需的库文件（libcudart、libcublas等），cuDNN则是针对深度学习中卷积、循环神经网络等运算的加速库。三者版本必须满足兼容矩阵，且驱动版本决定了CUDA运行时的上限。

Linux内核参数对训练性能的影响常被忽视。NUMA架构下，GPU与CPU的内存访问延迟差异显著；默认的swappiness值可能导致内存交换；透明大页（THP）可能引发GPU内存分配延迟。因此，系统优化需要从CPU频率、内存管理、网络缓冲区、进程限制四个维度入手。

4.2 方法流程：Linux系统优化与驱动安装

4.2.1 Linux内核参数优化

训练服务器建议使用Ubuntu Server 22.04 LTS，内核版本5.15+。安装完成后，首先通过/etc/sysctl.conf调整内核参数。以下配置针对多GPU训练场景进行了专项优化：

# /etc/sysctl.conf 追加以下内容
# 减少交换分区使用，优先使用物理内存
vm.swappiness = 10
# 禁用透明大页，避免GPU内存分配延迟
vm.nr_hugepages = 0
# 提升网络缓冲区，适配分布式训练
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
net.ipv4.tcp_rmem = 4096 87380 134217728
net.ipv4.tcp_wmem = 4096 65536 134217728
# 允许更多内存映射区域
vm.max_map_count = 1048576
# 文件句柄限制
fs.file-max = 2097152

执行sudo sysctl -p使配置生效。同时，在/etc/security/limits.conf中为训练用户提升进程与文件句柄限制：

# 训练用户（如ubuntu）的资源限制
ubuntu soft nofile 1048576
ubuntu hard nofile 1048576
ubuntu soft nproc unlimited
ubuntu hard nproc unlimited
ubuntu soft memlock unlimited
ubuntu hard memlock unlimited

CPU频率调节器建议设置为performance模式，避免动态调频带来的训练性能波动：

sudo apt install linux-tools-common cpufrequtils -y
echo 'GOVERNOR="performance"' | sudo tee /etc/default/cpufrequtils
sudo systemctl disable ondemand

4.2.2 NVIDIA驱动安装

驱动安装前必须彻底清理旧版本，避免残留冲突。推荐使用apt方式安装官方驱动，而非从NVIDIA官网下载.run文件，因为apt方式能更好地处理内核模块与DKMS的兼容性。

# 1. 卸载旧驱动（如有）
sudo apt purge nvidia-* libnvidia-* -y
sudo apt autoremove -y

# 2. 添加NVIDIA官方驱动源
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update

# 3. 安装推荐版本驱动（535系列）
sudo apt install nvidia-driver-535 nvidia-utils-535 -y

# 4. 重启系统
sudo reboot

重启后使用nvidia-smi验证驱动是否正常工作。输出应显示GPU型号、驱动版本、CUDA版本以及显存使用情况。若命令报错NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver，通常意味着内核模块未正确加载，可执行sudo modprobe nvidia手动加载并排查dmesg日志。

4.2.3 CUDA Toolkit安装

CUDA Toolkit的版本选择需与驱动版本匹配。驱动535.x最高支持CUDA 12.2，因此安装CUDA 12.2是安全选择。使用runfile方式安装时，务必不要勾选安装驱动，只安装Toolkit与软链接：

# 下载CUDA 12.2 runfile（约3GB）
wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda_12.2.0_535.54.03_linux.run

# 执行安装，仅安装Toolkit
sudo sh cuda_12.2.0_535.54.03_linux.run --toolkit --silent --override

# 配置环境变量
echo 'export PATH=/usr/local/cuda-12.2/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# 验证CUDA编译器
nvcc -V

nvcc -V应输出Cuda compilation tools版本信息。若提示command not found，检查/usr/local/cuda/bin是否存在，并确认软链接/usr/local/cuda指向正确版本目录。

4.2.4 cuDNN安装

cuDNN需要NVIDIA开发者账号才能下载。选择与CUDA 12.2匹配的cuDNN 8.9.x版本，下载Local Installer for Ubuntu22.04 x86_64 (Deb)包：

# 安装cuDNN Debian包
sudo dpkg -i cudnn-local-repo-ubuntu2204-8.9.5.29_1.0-1_amd64.deb

# 导入GPG密钥并更新源
sudo cp /var/cudnn-local-repo-ubuntu2204-8.9.5.29/cudnn-local-*-keyring.gpg /usr/share/keyrings/
sudo apt update

# 安装cuDNN运行时库与开发库
sudo apt install libcudnn8=8.9.5.29-1+cuda12.2 libcudnn8-dev=8.9.5.29-1+cuda12.2 -y

验证cuDNN安装是否成功，可检查库文件是否存在：

ls -l /usr/lib/x86_64-linux-gnu/libcudnn*
# 应看到 libcudnn.so.8 与 libcudnn_ops_infer.so.8 等文件

4.3 案例：Docker与NVIDIA Container Toolkit配置

Docker是AI训练平台容器化的核心。安装Docker Engine后，还需配置NVIDIA Container Toolkit，使容器内能够访问GPU资源。以下是完整流程：

# 1. 安装Docker Engine（使用官方源）
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list
sudo apt update
sudo apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y

# 2. 将训练用户加入docker组，免sudo执行
sudo usermod -aG docker $USER

# 3. 安装NVIDIA Container Toolkit
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt update
sudo apt install nvidia-container-toolkit -y

# 4. 配置Docker运行时
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

# 5. 验证GPU容器
docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi

最后一条命令若输出GPU信息，说明Docker已能正确调用GPU。若报错could not select device driver "" with capabilities: [[gpu]]，则说明NVIDIA Container Toolkit未正确配置，需检查/etc/docker/daemon.json中是否包含nvidia运行时配置。

验证项	命令	预期结果
驱动状态	`nvidia-smi`	显示GPU型号、驱动版本535.x、CUDA 12.2
CUDA编译器	`nvcc -V`	输出release 12.2, V12.2.140
cuDNN库	`ls /usr/lib/x86_64-linux-gnu/libcudnn*`	列出libcudnn.so.8及符号链接
Docker GPU	`docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi`	容器内正常输出GPU信息

4.4 误区与复盘：常见安装失败原因分析

高风险操作警示：切勿在已安装NVIDIA驱动的系统上直接运行.run格式的CUDA安装包并勾选驱动选项，这会导致驱动版本覆盖冲突，严重时可能使系统无法进入图形界面。生产环境务必先备份原有驱动配置，并在维护窗口执行安装。

根据大量实战案例，以下四个问题占据了基础环境故障的80%以上：

驱动与内核版本不匹配：Ubuntu自动更新内核后，DKMS模块未重新编译，导致nvidia-smi失效。解决方案是安装dkms包，并确认驱动包包含DKMS支持。
CUDA版本选择错误：部分框架（如PyTorch）对CUDA版本有最低要求，但驱动版本限制了CUDA的最高版本。例如驱动470.x最高支持CUDA 11.4，无法运行需要CUDA 12.x的框架。
Docker默认运行时未切换：仅安装NVIDIA Container Toolkit而不执行nvidia-ctk runtime configure，Docker仍使用runc作为默认运行时，GPU无法透传。
忽略NUMA拓扑：在多GPU服务器上，未配置NUMA亲和性可能导致跨NUMA节点访问GPU，训练性能下降20%～30%。建议使用nvidia-smi topo -m查看GPU拓扑，并通过taskset或容器--cpuset-mems参数绑定CPU内存节点。

复盘一次典型的故障排查过程：某训练任务报错CUDA error: no kernel image is available for execution on the device。通过nvidia-smi发现驱动版本为470.182，而CUDA Toolkit为12.0，驱动版本低于CUDA 12.0的最低要求（525.60.13）。最终通过升级驱动至535.104.05并重装CUDA 12.2解决了问题。这提醒我们：版本兼容性检查应作为环境搭建的第一道工序，而非等到训练报错时才回溯排查。