2. 环境准备

Triton Inference Server 是一个高性能的推理服务框架，其底层依赖 NVIDIA 的 GPU 计算栈和容器化运行环境。在开始部署 Triton 之前，必须完成一套完整的 GPU 环境准备：从物理驱动到容器运行时，再到 CUDA 与 cuDNN 的匹配，最后验证 Triton 镜像能否正常拉取并运行。本章将按照“驱动层 → 容器层 → 加速库层 → 验证层”的顺序，系统讲解每一步的原理、操作方法和常见问题，帮助你在自己的服务器上搭建一个稳定、可复现的 Triton 运行底座。

Triton 推理服务器 GPU 环境准备链路 ① 硬件与驱动层 NVIDIA GPU (如 A100/A30/L4) NVIDIA 驱动 ≥ 525.60.13 nvidia-smi 验证 GPU 可见 ② 容器运行时层 Docker Engine ≥ 20.10 NVIDIA Container Toolkit --gpus all 参数生效 ③ 加速库层 CUDA 12.x (随镜像) cuDNN 8.9+ (随镜像) TensorRT (可选) ④ Triton 镜像拉取与运行验证 docker pull nvcr.io/nvidia/tritonserver:24.05-py3 docker run --gpus all --rm -p 8000:8000 ... 验证输出指标 ✅ 容器启动无报错 ✅ curl localhost:8000/v2/health/ready 返回 200 常见排障入口 驱动版本不匹配 → nvidia-smi 无输出 | Docker 无法识别 GPU → nvidia-container-cli info 镜像拉取超时 → 配置镜像加速器 | 端口冲突 → 修改 -p 映射

2.1 核心原理：为什么需要分层准备环境

Triton 推理服务器本身是一个容器镜像，它并不直接与 GPU 硬件通信，而是通过 NVIDIA 的软件栈逐层传递计算任务。理解这条链路是环境准备的基础：GPU 硬件 → NVIDIA 驱动 → 容器运行时 → CUDA/cuDNN 库 → Triton 进程。每一层都依赖下一层提供的接口，任何一层的缺失或版本不匹配都会导致 Triton 无法使用 GPU 加速。

具体来说，NVIDIA 驱动运行在宿主机内核态，负责管理 GPU 硬件资源；Docker 通过 NVIDIA Container Toolkit 将宿主机的 GPU 设备文件（/dev/nvidia*）和驱动库映射进容器；CUDA 是 GPU 的通用计算平台，cuDNN 则针对深度神经网络做了深度优化。Triton 镜像内部已经预装了特定版本的 CUDA 和 cuDNN，因此宿主机只需要提供驱动和容器运行时，不需要重复安装 CUDA。

关键认知：宿主机不需要安装 CUDA 或 cuDNN，只需要安装与 Triton 镜像要求匹配的 NVIDIA 驱动。Triton 镜像自带完整的 CUDA/cuDNN 运行库。这一点与传统的裸机部署方式有本质区别，也是容器化部署的最大优势——环境隔离与可移植性。

2.2 判断方法与操作流程：从驱动到容器的完整安装步骤

在开始安装之前，首先需要确认你的 GPU 型号和宿主机操作系统。Triton 官方支持 Ubuntu 20.04/22.04 以及 CentOS 7/8 等主流 Linux 发行版。以下操作流程以 Ubuntu 22.04 + NVIDIA A100 为例，其他环境步骤类似但包管理器命令略有差异。

步骤一：安装 NVIDIA 驱动

  1. 检查 GPU 是否被系统识别：执行 lspci | grep -i nvidia，确认能看到 GPU 设备。
  2. 卸载旧驱动（如有）：sudo apt purge nvidia-* 清理残留。
  3. 添加 NVIDIA 官方驱动源：
sudo apt update
sudo apt install -y nvidia-driver-535  # 推荐使用 535 或更高版本
sudo reboot
  1. 验证驱动安装：重启后执行 nvidia-smi，应能看到 GPU 型号、驱动版本和显存信息。

步骤二：安装 Docker Engine

# 安装依赖
sudo apt install -y apt-transport-https ca-certificates curl software-properties-common
# 添加 Docker 官方 GPG 密钥
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
# 添加仓库
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
# 安装 Docker
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io
# 将当前用户加入 docker 组（避免每次使用 sudo）
sudo usermod -aG docker $USER
newgrp docker

步骤三：安装 NVIDIA Container Toolkit

# 添加 NVIDIA 容器运行时源
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
# 安装
sudo apt update
sudo apt install -y nvidia-container-toolkit
# 重启 Docker 服务
sudo systemctl restart docker

步骤四：验证 GPU 容器运行时

docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi

如果该命令能正常输出 GPU 信息，说明 Docker 已经能够将 GPU 透传给容器，这是 Triton 运行的前提条件。

检查项 命令 预期结果
GPU 驱动 nvidia-smi 显示 GPU 型号、驱动版本、显存
Docker 安装 docker --version Docker version 20.10.x 或更高
容器 GPU 透传 docker run --rm --gpus all ubuntu nvidia-smi 容器内能看到 GPU
NVIDIA Toolkit nvidia-container-cli info 显示 CUDA 版本和驱动版本

2.3 案例拆解：从零搭建 Triton 运行环境并完成首次启动

下面通过一个完整的实战案例，演示从裸机到 Triton 成功运行的全过程。假设我们有一台配备 4 张 NVIDIA A30 GPU 的服务器，操作系统为 Ubuntu 22.04 LTS，目标是运行 Triton 24.05 版本镜像。

初始状态：服务器刚完成系统安装，未安装任何 NVIDIA 组件。执行 nvidia-smi 提示 command not found。

操作过程：

  1. 安装驱动：使用 sudo apt install -y nvidia-driver-535 安装驱动，重启后 nvidia-smi 显示 4 张 A30，驱动版本 535.104.05。
  2. 安装 Docker：按照 2.2 节步骤安装 Docker 26.0 版本，并配置国内镜像加速器（编辑 /etc/docker/daemon.json）。
  3. 安装 NVIDIA Container Toolkit：安装完成后，执行 docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi，容器内正确显示 4 张 GPU。
  4. 拉取 Triton 镜像：
docker pull nvcr.io/nvidia/tritonserver:24.05-py3

镜像大小约 8GB，拉取时间取决于网络带宽。如果拉取超时，可以配置 Docker 镜像加速器或使用代理。

  1. 启动 Triton 容器：
docker run --gpus all --rm -p 8000:8000 -p 8001:8001 -p 8002:8002 \
  -v /home/user/models:/models \
  nvcr.io/nvidia/tritonserver:24.05-py3 \
  tritonserver --model-repository=/models

其中 /home/user/models 是存放模型仓库的宿主机目录，需要提前创建并放入至少一个模型（例如 densenet_onnx）。

  1. 验证服务状态：
curl -v localhost:8000/v2/health/ready

返回 HTTP/1.1 200 OK 表示 Triton 已就绪。再执行 curl localhost:8000/v2/models 查看已加载的模型列表。

结果对比：整个环境准备耗时约 40 分钟（含驱动安装和镜像拉取），Triton 成功加载模型并响应推理请求。如果跳过 NVIDIA Container Toolkit 安装，直接运行 docker run --gpus all 会报错 could not select device driver "" with capabilities: [[gpu]]，这正是容器运行时缺失的典型症状。

经验提醒：在安装驱动前，务必确认 GPU 型号和操作系统架构。对于 A100/A30 等 Ampere 架构 GPU，驱动版本建议 ≥ 525；对于 Hopper 架构（H100），建议 ≥ 535。驱动版本过低会导致 CUDA 12 无法正常工作。

2.4 常见误区与总结复盘

在环境准备过程中，以下误区最容易导致部署失败或性能异常，需要特别注意：

  • 误区一：在宿主机安装 CUDA 和 cuDNN。这不仅是多余的，还可能造成版本冲突。Triton 镜像内部已经锁定了 CUDA/cuDNN 版本，宿主机只需要驱动。
  • 误区二：忽略 NVIDIA Container Toolkit 的安装。只安装 Docker 而不安装 Toolkit，--gpus 参数无法生效，容器无法访问 GPU。
  • 误区三：驱动版本过旧。Triton 24.05 要求驱动 ≥ 525.60.13，如果驱动版本过低，容器启动时会报 CUDA driver version is insufficient。
  • 误区四：端口映射冲突。Triton 默认使用 8000（HTTP）、8001（gRPC）、8002（Metrics）三个端口，如果宿主机端口被占用，需要修改映射。
  • 误区五：模型仓库路径权限不足。容器内运行用户是 triton-server，如果宿主机模型目录权限为 700，容器内无法读取，导致模型加载失败。

总结复盘：环境准备的核心是“驱动 + 容器运行时”两层，CUDA/cuDNN 由 Triton 镜像自带。验证链路应遵循“nvidia-smi → docker run --gpus all → tritonserver 启动 → curl /v2/health/ready”的顺序，每一步都确认无误后再进入下一步。建议将上述安装命令整理成 Shell 脚本，便于在多台服务器上快速复现环境。

风险提示：生产环境中，不要随意升级 NVIDIA 驱动，除非确认新驱动与 Triton 镜像版本兼容。驱动升级可能导致正在运行的推理服务中断，且回滚操作较为复杂。建议在测试环境先行验证驱动版本兼容性。

完成以上环境准备后，你的服务器已经具备了运行 Triton 推理服务器的全部条件。接下来可以开始准备模型仓库、配置模型配置文件，并逐步深入了解 Triton 的动态批处理、模型集成等高级功能。

← 上一章 📖 返回目录 下一章 →