2. 开发环境搭建：JetPack SDK 与 AI 软件栈配置

英伟达边缘 AI 开发的核心在于 Jetson 平台，而 JetPack SDK 是连接硬件与上层深度学习框架的桥梁。很多初学者在拿到 Jetson 设备后，习惯性地按照 x86 服务器的方式去安装 CUDA 和 PyTorch，结果往往陷入依赖冲突的泥潭。本章将带你理清 JetPack、CUDA、cuDNN、TensorRT 以及 Python 环境之间的层级关系，并给出可落地的安装与验证流程。

2.1 核心原理：JetPack 是“操作系统级”的软件栈

JetPack SDK 并非一个简单的驱动包，它本质上是一个完整的软件发行版，捆绑了 Linux 内核、根文件系统、CUDA 工具包、cuDNN 库、TensorRT 推理引擎、多媒体 API（如 V4L2、GStreamer）以及 NVIDIA 特有的加速库。理解这一点至关重要：不要手动从 NVIDIA 官网下载 CUDA 安装包，因为 Jetson 的 CUDA 是经过定制并适配其 ARM 架构（aarch64）的，与桌面级 x86_64 版本不通用。

下图展示了 Jetson 设备上软件栈的典型分层结构，以及用户代码与底层硬件之间的调用路径：

从上图可以看出，JetPack 位于最底层，负责驱动和 CUDA 的版本一致性。用户通常只接触最上层的 Python 或 C++ API，而 TensorRT 和 cuDNN 则作为中间优化层，对上层框架提供加速支持。因此，安装顺序必须是：先刷 JetPack，再装 Python 包，绝不能颠倒。

2.2 方法流程：从刷机到验证的完整步骤

下面以 Jetson Orin Nano 开发套件为例，演示从零搭建环境的标准流程。假设你已有一台 Ubuntu 20.04/22.04 的 x86 主机用于刷机。

步骤 1：使用 SDK Manager 刷入 JetPack

在主机上安装 NVIDIA SDK Manager，通过 USB-C 线连接 Jetson 设备并进入恢复模式（按住 Recovery 键再按 Reset）。选择目标设备型号和 JetPack 版本（如 5.1.2），SDK Manager 会自动完成烧录与初始系统配置。

# 主机端安装 SDK Manager（.deb 包）
sudo apt install ./sdkmanager_2.1.0-11577_amd64.deb
# 启动后图形界面操作：选择 Jetson → 勾选 JetPack 5.1.2 → 输入设备密码

步骤 2：验证 CUDA 与系统库

刷机完成后，Jetson 系统已预装 CUDA 11.4（以 JetPack 5.1.2 为例）。打开终端检查环境变量和编译器：

# 查看 CUDA 版本（注意 Jetson 的 CUDA 路径与 x86 不同）
ls /usr/local/cuda-11.4/bin/nvcc
/usr/local/cuda-11.4/bin/nvcc --version

# 查看 cuDNN 版本
dpkg -l | grep cudnn

# 查看 TensorRT 版本
dpkg -l | grep tensorrt

如果 nvcc 命令找不到，需要手动添加环境变量。建议将以下内容写入 ~/.bashrc：

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
export CUDA_HOME=/usr/local/cuda

步骤 3：创建 Python 虚拟环境并安装 PyTorch

Jetson 的 PyTorch 必须使用 NVIDIA 提供的 aarch64 预编译 wheel，不能从 PyPI 直接安装。访问 NVIDIA 官方论坛 获取对应 JetPack 版本的下载链接。

# 创建虚拟环境（推荐使用 venv，避免 conda 与 Jetson 系统库冲突）
python3 -m venv ~/jetson_env
source ~/jetson_env/bin/activate

# 安装 PyTorch 1.14.0（对应 JetPack 5.1.2）
pip install https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-1.14.0a0+44dac51c.nv23.02-cp38-cp38-linux_aarch64.whl

# 安装 torchvision（注意版本必须与 PyTorch 匹配）
pip install https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torchvision-0.15.0a0+5bc7d5b.nv23.02-cp38-cp38-linux_aarch64.whl

步骤 4：验证 GPU 可用性与 TensorRT 集成

安装完成后，运行以下 Python 代码确认 PyTorch 能正确调用 GPU：

import torch
print("CUDA 可用:", torch.cuda.is_available())
print("GPU 名称:", torch.cuda.get_device_name(0))
print("PyTorch 版本:", torch.__version__)

# 简单张量运算测试
x = torch.randn(1000, 1000).cuda()
y = torch.mm(x, x)
print("矩阵乘法结果形状:", y.shape)

预期输出中 CUDA 可用 应为 True，GPU 名称显示为 NVIDIA Jetson Orin Nano Developer Kit。若返回 False，说明 PyTorch 与 CUDA 版本不匹配，需重新下载对应 wheel。

2.3 案例：TensorRT 加速一个分类模型

环境搭建的最终目的是高效推理。下面演示如何将 PyTorch 的 ResNet18 模型转换为 TensorRT 引擎，并对比推理速度。首先安装必要的依赖：

pip install onnx onnxruntime-gpu

转换流程分为三步：PyTorch → ONNX → TensorRT。以下代码展示了核心转换逻辑：

import torch
import torchvision.models as models
import onnx
import tensorrt as trt

# 1. 导出 ONNX
model = models.resnet18(pretrained=True).cuda().eval()
dummy_input = torch.randn(1, 3, 224, 224).cuda()
torch.onnx.export(model, dummy_input, "resnet18.onnx",
                  input_names=["input"], output_names=["output"],
                  dynamic_axes={"input": {0: "batch"}, "output": {0: "batch"}})

# 2. 构建 TensorRT 引擎（FP16 精度）
logger = trt.Logger(trt.Logger.WARNING)
builder = trt.Builder(logger)
network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))
parser = trt.OnnxParser(network, logger)
with open("resnet18.onnx", "rb") as f:
    parser.parse(f.read())

config = builder.create_builder_config()
config.set_flag(trt.BuilderFlag.FP16)
engine = builder.build_engine(network, config)

# 3. 保存引擎文件
with open("resnet18.engine", "wb") as f:
    f.write(engine.serialize())

转换完成后，使用 TensorRT 引擎进行推理，并与原始 PyTorch 模型对比延迟（在 Orin Nano 上，FP16 通常能获得 2~3 倍的加速）：

2.4 常见误区与复盘

在搭建环境的过程中，开发者经常陷入以下四个典型误区，值得特别警惕：

• 误区一：手动升级 CUDA 到最新版本。 Jetson 的 CUDA 与 L4T（Linux for Tegra）内核深度绑定，手动替换会导致显卡驱动崩溃。正确做法是接受 JetPack 锁定的 CUDA 版本，除非确有特殊需求，否则不要改动。
• 误区二：使用 pip 安装默认的 PyTorch。 PyPI 上的 torch 是 x86_64 架构，在 Jetson 上会报 Illegal instruction (core dumped) 错误。必须使用 NVIDIA 论坛提供的 aarch64 wheel。
• 误区三：忽略虚拟环境。 Jetson 系统 Python 是许多系统工具（如 nvidia-smi 的 Python 绑定）的依赖，直接在系统环境中安装包容易造成版本冲突。建议始终使用 venv 或 virtualenv。
• 误区四：混淆 TensorRT 与 PyTorch 的版本兼容性。 某些 PyTorch 操作（如 torch.nn.functional.grid_sample）在转换为 ONNX 时可能不受 TensorRT 支持，导致转换失败。遇到此类问题，应检查 TensorRT 支持矩阵，或改用等价的原生层实现。

最后，建议在完成所有安装后，创建一个 环境验证脚本（如 check_env.py），将 CUDA、cuDNN、TensorRT 和 PyTorch 的版本信息统一打印出来，并执行一次完整的张量运算和 TensorRT 推理测试。这样在后续开发中，一旦出现异常，可以快速定位是环境问题还是代码问题，避免在排查上浪费大量时间。