📚 课程目录第3章工程环境搭建

3. 工程环境搭建

自动驾驶训练评测部署一体化工程的第一道门槛，不是模型结构，而是环境。一个可复现、可迁移、可扩展的工程环境，决定了后续数据流水线、分布式训练、模型评测与服务部署能否稳定运行。本章围绕开发环境、容器化、依赖管理、GPU集群、存储与网络六个维度，给出可落地的配置思路与关键参数。

核心目标：让任何一位工程师在任意一台新机器上，用一条命令拉起与生产一致的训练环境，并保证 GPU、存储、网络三类资源可被统一调度。

一、核心原理：环境即代码

传统做法是“手工装驱动、装 CUDA、装 Python 包”，结果是“在我机器上能跑”。一体化工程要求把环境当作代码管理：操作系统基线、驱动版本、CUDA/cuDNN、Python 依赖、容器镜像、集群调度配置全部纳入版本控制。其本质是把“环境差异”收敛为“镜像差异”，再把“镜像差异”收敛为“声明式配置差异”。

环境分层可以概括为四层：硬件与驱动层（GPU 型号、NVIDIA Driver）、运行时层（CUDA、cuDNN、NCCL）、框架层（PyTorch/TensorFlow、Python 包）、应用层（训练代码、评测脚本、部署服务）。每一层都应可独立升级、可回滚，避免“牵一发动全身”。

二、方法流程：从裸机到可训练集群

建议按以下顺序推进，每一步都产出可验证的“环境凭证”：

驱动与 CUDA 基线：确认 GPU 型号与驱动版本，锁定 CUDA 大版本。例如 A100 建议 Driver ≥ 470，CUDA 11.8 或 12.x。
容器化封装：以 NVIDIA 官方 CUDA 镜像为基础，安装 Python、框架与项目依赖，构建统一镜像。
依赖锁定：使用 requirements.txt 或 conda environment.yml 固定版本，禁止使用 latest。
集群调度接入：在 Slurm 或 Kubernetes 中注册 GPU 资源，配置拓扑感知与队列策略。
存储挂载：数据集、Checkpoint、日志分别挂载到不同存储路径，避免 IO 争抢。
网络验证：用 NCCL 测试多机带宽，确认 IB/RoCE 链路与防火墙策略。

三、关键配置示例

以下是一个可复用的容器构建与依赖锁定片段：

# Dockerfile 片段
FROM nvcr.io/nvidia/pytorch:23.10-py3
ENV CUDA_HOME=/usr/local/cuda
ENV NCCL_DEBUG=WARN
COPY requirements.txt /tmp/requirements.txt
RUN pip install --no-cache-dir -r /tmp/requirements.txt
WORKDIR /workspace

# requirements.txt 锁定示例
torch==2.1.0+cu118
torchvision==0.16.0+cu118
numpy==1.24.3
opencv-python==4.8.1.78
tensorboard==2.15.1

集群侧需要声明 GPU 资源与存储挂载：

# Kubernetes GPU Pod 片段
resources:
  limits:
    nvidia.com/gpu: 8
volumeMounts:
  - name: dataset
    mountPath: /data/dataset
  - name: ckpt
    mountPath: /data/ckpt

四、案例场景：多机多卡训练环境落地

某自动驾驶团队有 4 台 8 卡 A100 服务器，需要训练 BEV 感知模型。环境搭建过程如下：统一使用 PyTorch 23.10 镜像，锁定 CUDA 11.8；通过 Slurm 提交任务，每任务申请 2 节点 × 8 卡；数据集放在并行文件系统，Checkpoint 写入高速 NVMe 缓存后再异步归档；NCCL 使用 IB 网络，设置 NCCL_IB_HCA 与 NCCL_SOCKET_IFNAME 避免走错网卡。最终单次训练启动时间从 40 分钟降到 3 分钟，且任意节点故障可自动重调度。

经验：把“环境验证”做成一个独立脚本，每次镜像更新后自动运行 GPU 可见性、NCCL 带宽、存储读写、Python 依赖导入四项检查，通过后才允许进入训练队列。

五、常见误区与复盘

误区	后果	正确做法
依赖不锁版本	今天能跑，明天报错	requirements 固定版本 + 镜像标签
数据集与 Checkpoint 同盘	IO 争抢，训练抖动	分离存储路径，分级缓存
忽略 NCCL 网卡选择	多机通信慢，GPU 利用率低	显式指定 IB 网卡与协议
容器内直接改环境	无法复现，镜像漂移	所有变更回写 Dockerfile
GPU 资源不隔离	任务互相抢占，OOM	调度器配额 + 显存限制

复盘重点：环境问题往往在训练启动后才暴露。建议在 CI 中加入“环境冒烟测试”，包括 nvidia-smi、torch.cuda.is_available()、NCCL all_reduce 小规模测试、存储读写基准，确保镜像与集群配置始终一致。

完成本章配置后，团队应具备一套可复制、可审计、可扩展的工程环境基线。后续的数据流水线、分布式训练与评测部署，都将建立在这套基线之上，环境一致性带来的收益会随着集群规模扩大而显著放大。