1. 课程导入
在边缘智能场景中，Jetson 系列设备凭借其高能效的 GPU 与专用推理加速单元，成为自动驾驶、机器人、工业质检与智能安防等领域部署感知模型的主流平台。然而，把一个在服务器上训练好的感知模型真正跑在 Jetson 上，并稳定达到实时帧率，并不是一次简单的“复制粘贴”。它涉及模型格式转换、精度校准、内存与功耗约束、多线程流水线设计以及端到端延迟测量等一系列工程问题。本课程的目标，就是帮助学习者建立一条从模型到部署、从能跑到跑得快、跑得稳的完整工程路径。
一、学习目标：从“能推理”到“实时可靠”
本课程围绕四个递进层次设定学习目标。第一层是环境与工具链：能够正确配置 JetPack、CUDA、cuDNN、TensorRT，并理解各组件版本之间的匹配关系。第二层是模型部署：掌握 ONNX 导出、TensorRT 引擎构建、INT8 校准与动态形状配置。第三层是实时优化：能够分析推理瓶颈，使用批处理、CUDA 流、零拷贝内存与多进程流水线提升吞吐。第四层是工程化落地：能够设计可监控、可回退、可复现的部署方案，并对延迟、功耗、精度进行量化评估。
二、核心概念：感知部署中的关键术语
在进入实操之前，需要先统一几个核心概念。它们贯穿整门课程，也是后续排障与优化的判断依据。
- 推理引擎：TensorRT 将训练框架模型编译为针对特定 GPU 架构优化的执行计划，是 Jetson 上高性能推理的核心。
- 精度模式：FP32、FP16、INT8 三种模式在速度、显存与精度之间形成权衡。INT8 通常带来最大加速，但需要校准集来抑制精度损失。
- 端到端延迟：从摄像头采集一帧到输出感知结果的总时间，包含采集、预处理、推理、后处理与传输，而非仅推理时间。
- 吞吐与帧率：单位时间处理的帧数，受批大小、流水线并行度与内存带宽共同影响。
- 功耗与热约束：Jetson 的 nvpmodel 与 jetson_clocks 决定功耗档位与频率，直接影响持续性能。
三、整体框架：五层部署架构
为了把上述概念组织成可操作的工程体系，本课程采用五层架构来理解 Jetson 感知部署。下图展示了从硬件到应用的自底向上结构，以及每层的关键对象与优化手段。
这五层并非孤立存在。硬件层的功耗档位会限制运行时层的可用频率；运行时层的版本不匹配会导致推理层引擎构建失败；流水线层的设计缺陷会让推理层的优化成果被预处理或后处理吞掉。因此，本课程强调“全链路视角”，而不是只盯着模型本身。
四、学习路径：四周进阶安排
为了让学习节奏清晰可控，课程按四周组织，每周聚焦一个能力台阶。下表给出各阶段的核心任务与验收标准。
| 阶段 | 核心任务 | 关键工具 | 验收标准 |
|---|---|---|---|
| 第 1 周 | 环境搭建与模型导出 | JetPack、ONNX、PyTorch | ONNX 模型可在 Jetson 上加载并输出正确形状 |
| 第 2 周 | TensorRT 引擎构建与精度校准 | trtexec、polygraphy | FP16/INT8 引擎构建成功，精度损失在可接受范围 |
| 第 3 周 | 端到端流水线与性能剖析 | Nsight Systems、CUDA 流 | 端到端延迟下降 30% 以上，帧率稳定 |
| 第 4 周 | 工程化封装与持续监控 | Docker、systemd、Prometheus | 服务可重启、可回退、指标可观测 |
五、典型场景与常见误区
以一个典型的道路目标检测任务为例：摄像头输入 1080p 视频，模型为 YOLO 系列，目标是在 Jetson Orin Nano 上达到 30 FPS。初学者常犯的错误是只测量推理时间，看到 TensorRT 报告 8ms 就认为可以达标，但实际端到端只有 18 FPS。原因往往在于预处理使用了 CPU 上的 OpenCV 逐帧缩放与颜色转换，后处理中的 NMS 也在 CPU 上串行执行，导致 GPU 大量空闲。
正确的做法是先建立端到端计时基线，再用 Nsight Systems 定位时间花在哪一段，然后逐段优化。例如，将预处理迁移到 GPU 上使用 VPI 或 CUDA 核函数完成，将 NMS 放入 TensorRT 插件或使用 CUDA 实现，最后通过多流并行让采集、推理与后处理重叠执行。
# 快速建立端到端计时基线的伪代码
t0 = time.perf_counter()
frame = camera.read()
t1 = time.perf_counter()
input_tensor = preprocess(frame) # 关注是否在 GPU 上
t2 = time.perf_counter()
outputs = engine.infer(input_tensor)
t3 = time.perf_counter()
boxes = postprocess(outputs) # 关注 NMS 位置
t4 = time.perf_counter()
print(f"采集: {(t1-t0)*1000:.2f} ms")
print(f"预处理: {(t2-t1)*1000:.2f} ms")
print(f"推理: {(t3-t2)*1000:.2f} ms")
print(f"后处理: {(t4-t3)*1000:.2f} ms")
print(f"端到端: {(t4-t0)*1000:.2f} ms")
通过这样的基线测量，你会发现优化方向往往与直觉不同。很多情况下，预处理和后处理合计占用了超过一半的时间，而推理本身并不是瓶颈。这也是本课程反复强调“先测量、再优化”的原因。
六、本课程的知识地图
后续章节将沿着“环境准备 → 模型转换 → 引擎构建 → 精度校准 → 流水线设计 → 性能剖析 → 工程封装”的主线展开。每一章都会给出可运行的命令、可复现的配置以及可验证的指标。你不需要一次记住所有细节，但需要建立一条清晰的判断链：当前瓶颈在哪一层？这一层有哪些可调参数？调整后如何验证收益？
当你完成本课程后，再面对一个新的感知模型和一块新的 Jetson 设备时，应当能够有条不紊地完成从环境校验、模型导出、引擎构建、精度验证到流水线调优的全过程，并能用数据说明当前方案是否满足实时性与可靠性要求。这正是本课程希望培养的核心工程能力。