1. Jetson平台全景与推理部署挑战
NVIDIA Jetson 并不是一块“带 GPU 的开发板”这么简单，它是一整套面向边缘 AI 的嵌入式计算平台。理解 Jetson 的部署与优化，第一步不是急着装 JetPack、跑 trtexec，而是先建立一张“平台全景图”：有哪些型号、算力与内存如何分层、各自适合什么场景、部署时真正的瓶颈在哪里。只有把这些问题想清楚，后面的模型转换、精度选择、显存管理和性能调优才有明确的判断依据。
一、Jetson 系列硬件规格对比
Jetson 家族按算力与功耗大致可分为入门、主流、高性能三档。入门级以 Jetson Nano、Jetson Orin Nano 为代表，主打低功耗、低成本，适合轻量视觉与传感器融合；主流级如 Jetson Xavier NX、Jetson Orin NX，兼顾算力与功耗，是机器人、智能相机、工业质检的常见选择；高性能级如 Jetson AGX Xavier、Jetson AGX Orin，面向多路摄像头、激光雷达、实时大模型推理等重负载场景。
需要特别注意的是，Jetson 的算力不能只看 GPU 的 TFLOPS。真正决定推理吞吐的，往往是 GPU、CPU、内存带宽、DLA（深度学习加速器）、PVA（可编程视觉加速器）以及视频编解码器之间的协同。例如 Orin 系列引入了 Ampere 架构 GPU 与第二代 DLA，支持 INT8 与稀疏化加速；而 Xavier 系列虽然 GPU 算力不低，但内存带宽和 DLA 版本相对落后。因此，选型时要同时看“峰值算力”和“持续推理能力”。
| 系列 | 典型型号 | GPU 架构 | AI 算力（示例） | 内存 | 典型功耗 | 适用场景 |
|---|---|---|---|---|---|---|
| 入门 | Jetson Nano | Maxwell | 约 0.5 TFLOPS | 4GB LPDDR4 | 5–10W | 教学、简单分类 |
| 入门 | Orin Nano | Ampere | 约 20–40 TOPS | 4–8GB LPDDR5 | 7–15W | 轻量检测、机器人 |
| 主流 | Xavier NX | Volta | 约 21 TOPS | 8–16GB LPDDR4x | 10–20W | 多路视频分析 |
| 主流 | Orin NX | Ampere | 约 70–100 TOPS | 8–16GB LPDDR5 | 10–25W | 工业质检、AMR |
| 高性能 | AGX Xavier | Volta | 约 32 TOPS | 32GB LPDDR4x | 10–30W | 自动驾驶原型 |
| 高性能 | AGX Orin | Ampere | 约 200–275 TOPS | 32–64GB LPDDR5 | 15–60W | 多传感器融合、大模型 |
表中算力为官方标称的示例值，实际推理性能会因模型结构、精度、批大小和散热条件而显著变化。选型时建议以“目标模型在目标精度下的实测吞吐”为准，而不是直接比较 TOPS 数字。
二、典型边缘 AI 应用场景
Jetson 的典型场景可以归纳为四类。第一类是智能视觉，包括目标检测、语义分割、姿态估计、OCR，常见于安防摄像头、零售客流分析、工业缺陷检测。第二类是机器人与自主系统，包括 SLAM、路径规划、避障、机械臂抓取，对实时性和确定性要求极高。第三类是智能交通与车载，包括多路摄像头感知、驾驶员监控、交通事件检测。第四类是边缘大模型与生成式 AI，例如在本地运行轻量 LLM、视觉语言模型，用于离线问答、语音交互。
这些场景的共同点是：数据在本地产生、必须在本地处理、对延迟敏感、对功耗和散热有硬约束。它们与云端推理最大的区别在于，边缘设备没有无限的内存和带宽，也不能依赖稳定的网络回传。因此，部署方案必须围绕“资源受限下的实时性”来设计。
三、推理部署的核心挑战与优化目标
在 Jetson 上部署推理，常见挑战集中在五个方面。第一是模型兼容性：训练框架多为 PyTorch 或 TensorFlow，而 Jetson 上高效执行依赖 TensorRT 引擎，中间需要 ONNX 转换、算子支持检查和精度校准。第二是精度与速度的权衡：FP32、FP16、INT8 的吞吐差异可达数倍，但 INT8 需要校准集，且可能带来精度下降。第三是内存与显存约束：Jetson 采用统一内存架构，CPU 与 GPU 共享物理内存，模型权重、中间激活、输入输出缓冲会相互挤占。第四是功耗与散热：高负载下 GPU 会降频，持续性能往往低于峰值。第五是端到端延迟：预处理、推理、后处理、数据传输都可能成为瓶颈，不能只优化推理本身。
下面这张图展示了从模型到 Jetson 部署的关键链路与主要瓶颈点，帮助建立整体判断框架。
从图中可以看到，部署不是单点问题，而是一条链路上的多目标优化。实际工作中，建议先明确业务指标：是要求 30 FPS 的实时检测，还是允许 200ms 延迟的离线分析？是必须 INT8 才能满足功耗，还是 FP16 已足够？确定约束后，再依次处理算子兼容、精度校准、内存分配和功耗模式。
本章后续内容将围绕这条链路展开：从 JetPack 环境搭建、TensorRT 模型转换，到精度校准、内存优化、多流并行与功耗调优。理解平台全景与瓶颈分布，是后续所有优化工作的前提。