4. Docker容器化环境：Docker安装、拉取PyTorch/TensorFlow镜像、容器持久化与端口映射

说到工业缺陷检测的落地环境，我见过太多团队在环境配置上栽跟头了。有的因为CUDA版本冲突，有的因为Python包依赖打架，还有的换台机器就得重装半天环境。说白了，这些问题都是环境不一致闹的。

Docker就是来解决这个问题的。它把你的整个运行环境——操作系统、驱动、库、代码——打包成一个标准化的容器。你想想看，在开发机上调试好的模型，部署到产线工控机上，直接跑同一个镜像，省心多了。

核心思路：用Docker把深度学习环境固化成“不可变基础设施”，一次构建，到处运行。

4.1 Docker安装与配置

安装Docker其实不复杂，但有几个坑我得提前跟你说。我最早在Ubuntu 18.04上装Docker时，直接用了系统自带的apt源，结果版本太旧，后面跑NVIDIA容器各种报错。

推荐安装方式：用官方脚本一键安装，干净利落。

# 卸载旧版本（如果有）
sudo apt-get remove docker docker-engine docker.io containerd runc

# 安装依赖
sudo apt-get update
sudo apt-get install -y \
    ca-certificates \
    curl \
    gnupg \
    lsb-release

# 添加Docker官方GPG密钥
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | \
    sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

# 设置稳定版仓库
echo \
  "deb [arch=$(dpkg --print-architecture) \
  signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] \
  https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# 安装Docker引擎
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io

# 验证安装
sudo docker run hello-world

装完之后，记得把当前用户加入docker组，不然每次都要sudo，很烦人。

sudo usermod -aG docker $USER
# 退出重新登录，或者执行 newgrp docker 使组生效

我的习惯：装完Docker第一件事就是配镜像加速器。国内拉镜像慢得让人抓狂，配置阿里云或中科大的加速器能快10倍以上。

4.2 NVIDIA Container Toolkit：让容器用上GPU

工业缺陷检测模型，尤其是基于深度学习的，基本都依赖GPU加速。但Docker容器默认是看不到宿主机的GPU的。你需要额外装一个工具——NVIDIA Container Toolkit。

我曾经踩过一个坑：装好了nvidia-docker2，但容器里还是调用不了GPU。后来发现是宿主机显卡驱动版本太低，跟容器里的CUDA不匹配。嗯，这里要注意，驱动版本决定了你能支持的CUDA版本上限。

# 添加NVIDIA容器工具包仓库
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \
    sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | \
    sudo tee /etc/apt/sources.list.d/nvidia-docker.list

# 安装
sudo apt-get update
sudo apt-get install -y nvidia-docker2

# 重启Docker服务
sudo systemctl restart docker

# 测试GPU是否可用
sudo docker run --rm --gpus all nvidia/cuda:11.8-base nvidia-smi

看到nvidia-smi的输出，说明容器已经能调用GPU了。这一步是后续所有深度学习容器的基础。

4.3 拉取PyTorch/TensorFlow镜像

官方镜像仓库里有现成的深度学习镜像，直接拉下来就能用。我个人习惯用NVIDIA官方维护的版本，因为CUDA和cuDNN的搭配已经验证过了。

框架 镜像名称 CUDA版本 适用场景
PyTorch pytorch/pytorch:2.1.0-cuda12.1-cudnn8-runtime 12.1 通用训练/推理
PyTorch pytorch/pytorch:2.1.0-cuda12.1-cudnn8-devel 12.1 需要编译自定义算子
TensorFlow tensorflow/tensorflow:2.13.0-gpu 11.8 通用训练/推理
TensorFlow tensorflow/tensorflow:2.13.0-gpu-jupyter 11.8 开发调试+Jupyter 
# 拉取PyTorch镜像
docker pull pytorch/pytorch:2.1.0-cuda12.1-cudnn8-runtime

# 拉取TensorFlow镜像
docker pull tensorflow/tensorflow:2.13.0-gpu

# 查看本地已有镜像
docker images

注意：runtime版镜像只包含运行所需的最小依赖，体积小（约4GB）。devel版包含完整的开发工具链，体积大（约8GB），但可以编译自定义CUDA算子。工业部署场景，我建议用runtime版，够用且启动快。

4.4 容器持久化：数据不丢失的关键

容器默认是“用完即焚”的。你训练了10个小时的模型权重，容器一停就没了，这谁受得了？所以必须做数据持久化。

Docker提供了两种持久化方式：绑定挂载（bind mount）和卷（volume）。工业场景下，我推荐用绑定挂载，因为你可以直接操作宿主机上的文件，方便调试和备份。

# 启动PyTorch容器，挂载宿主机目录
docker run --gpus all -it --rm \
    -v /home/user/projects:/workspace \
    -v /home/user/data:/data \
    pytorch/pytorch:2.1.0-cuda12.1-cudnn8-runtime \
    /bin/bash

解释一下参数：

  • -v /home/user/projects:/workspace：把宿主机上的projects目录挂载到容器内的/workspace
  • -v /home/user/data:/data：把数据集目录挂载到容器内的/data
  • --rm：容器退出后自动删除，不留垃圾

这样一来，你在容器里修改/workspace下的代码，宿主机上同步更新。训练好的模型权重，直接保存到挂载目录里，容器销毁了也不怕。

避坑指南：我曾经把整个数据集放在容器内部，结果容器被误删，30GB的标注数据全没了。从那以后，我所有数据都放在宿主机上，容器只做计算。数据无价，切记。

4.5 端口映射：让外部能访问容器服务

工业缺陷检测模型部署时，通常需要对外提供API服务。比如用Flask或FastAPI封装一个推理接口，监听某个端口。但容器内部的服务，宿主机默认是访问不到的，需要做端口映射。

# 启动TensorFlow容器，映射端口
docker run --gpus all -it --rm \
    -p 5000:5000 \
    -p 8888:8888 \
    -v /home/user/projects:/workspace \
    tensorflow/tensorflow:2.13.0-gpu \
    /bin/bash

-p 5000:5000的意思是把容器内的5000端口映射到宿主机的5000端口。这样你在浏览器里访问http://宿主机IP:5000，就能访问到容器里的推理服务了。

端口映射的常见场景：

  • 推理API：映射5000或8000端口，对外提供RESTful接口
  • Jupyter Notebook：映射8888端口，方便远程开发调试
  • TensorBoard：映射6006端口，可视化训练过程
  • Grafana监控：映射3000端口，监控模型推理性能

4.6 完整启动脚本示例

把上面这些整合起来，我一般会写一个启动脚本，省得每次敲一堆参数。

#!/bin/bash
# run_pytorch.sh - 启动PyTorch训练容器

IMAGE="pytorch/pytorch:2.1.0-cuda12.1-cudnn8-runtime"
NAME="defect_detection_train"
WORKSPACE="/home/user/defect_project"
DATA="/mnt/nas/defect_dataset"

docker run --gpus all -it --rm \
    --name $NAME \
    --shm-size=16g \
    -p 5000:5000 \
    -p 6006:6006 \
    -v $WORKSPACE:/workspace \
    -v $DATA:/data \
    -e CUDA_VISIBLE_DEVICES=0,1 \
    $IMAGE \
    /bin/bash

这里加了几个实用参数：

  • --shm-size=16g：增加共享内存大小，PyTorch DataLoader多进程加载数据时不会报错
  • -e CUDA_VISIBLE_DEVICES=0,1：指定容器可见的GPU编号，多卡训练时控制资源分配

4.7 知识结构总览

下面这张图把Docker容器化环境的核心逻辑串起来了，你可以对照着理解。

Docker容器化环境配置核心流程 宿主机（Ubuntu 20.04/22.04） Docker Engine + NVIDIA Container Toolkit 深度学习容器 PyTorch / TensorFlow CUDA + cuDNN 推理API服务 数据持久化（-v挂载） + 端口映射（-p暴露） 一次构建镜像 → 任意GPU服务器 → 秒级启动 → 环境完全一致

4.8 常见问题与排查

最后分享几个我实际踩过的坑，你遇到了可以直接对照排查。

问题现象 可能原因 解决方案
容器内nvidia-smi报错 NVIDIA Container Toolkit未安装或版本不匹配 重新安装nvidia-docker2，重启Docker服务
拉取镜像超时 未配置镜像加速器 配置/etc/docker/daemon.json中的registry-mirrors
容器内无法写挂载目录 宿主机目录权限不足 chmod 755宿主机目录，或使用--user参数指定UID
端口映射后外部无法访问 宿主机防火墙未放行 ufw allow 5000/tcp 或关闭防火墙测试
PyTorch DataLoader报共享内存不足 容器默认shm-size只有64MB 启动时加--shm-size=16g

重要提醒：工业产线环境通常有严格的网络隔离。如果无法直接拉取Docker Hub镜像，可以在一台能联网的机器上拉取后，用docker save导出为tar包，再docker load导入到离线服务器。我经常这么干，尤其是在客户现场。

好了，Docker容器化环境这块就讲到这里。你按照这个流程走一遍，基本不会出大问题。记住核心原则：环境固化成镜像，数据留在宿主机，服务通过端口暴露。这样你的缺陷检测模型就能在任何一台GPU机器上快速部署了。

← 上一章 📖 返回目录 下一章 →