1. 课程导入
自动驾驶系统本质上是一台在移动中持续做决策的实时计算机。摄像头、激光雷达、毫米波雷达、IMU 与 GNSS 产生的数据，需要在几十毫秒内完成感知、预测、规划与控制。承载这些深度神经网络（DNN）计算的推理引擎，正是决定整车“反应速度”和“安全冗余”的关键基础设施。本课程围绕推理引擎的性能分析与调优展开，目标是让学习者具备从“跑得起来”到“跑得稳、跑得快、跑得省”的工程能力。
一、学习目标：从会用到会调
本课程不是单纯的 API 使用教程，而是面向工程落地的性能工程训练。完成学习后，你应当能够：
- 建立性能模型：理解推理延迟、吞吐、时延抖动、内存占用、功耗之间的耦合关系，能区分计算受限、访存受限与调度受限。
- 掌握分析工具链：熟练使用 Nsight Systems、Nsight Compute、perf、TensorRT profiler、ONNX Runtime profiling 等工具定位瓶颈。
- 实施调优手段：能够通过算子融合、量化、批处理、内存复用、流水线并行、CUDA Graph 等手段提升端到端性能。
- 保障实时安全：理解确定性延迟、最坏执行时间（WCET）与功能安全对推理引擎的约束。
二、核心概念：推理引擎的性能坐标系
要调优，先要建立统一的度量语言。自动驾驶推理引擎的性能通常由以下维度刻画：
| 维度 | 含义 | 典型指标 | 常见瓶颈 |
|---|---|---|---|
| 延迟 | 单次推理从输入到输出的耗时 | P50 / P99 / 最大延迟 | 算子串行、内核启动开销 |
| 吞吐 | 单位时间可处理的帧数或样本数 | FPS、QPS | 批大小、显存带宽 |
| 抖动 | 延迟的波动程度 | P99-P50、方差 | 调度抢占、动态频率 |
| 资源 | 计算与存储的占用 | GPU 利用率、显存、功耗 | 访存密集、碎片化 |
| 精度 | 量化或优化后的数值一致性 | mAP、余弦相似度 | 低比特量化、融合误差 |
这些维度并非独立。例如提高批大小可提升吞吐，却会拉高单帧延迟；降低精度可减少计算量，却可能影响感知召回。调优的本质，是在约束条件下寻找多目标平衡点。
三、整体框架：从模型到车端的性能链路
下图给出自动驾驶推理引擎性能分析与调优的整体框架。左侧是模型与数据输入，中间是推理引擎的核心执行链路，右侧是性能观测与调优反馈。理解这条链路，才能知道瓶颈发生在哪一层。
这条链路的关键在于“反馈闭环”：性能观测不是终点，而是下一轮优化的输入。每一次调优都应伴随精度回归与稳定性验证，避免用精度换速度的隐性代价。
四、方法流程：一次完整的性能调优怎么做
工程实践中，推荐遵循“基线—剖析—假设—验证—固化”的闭环流程：
- 建立基线：在目标硬件上记录原始模型的延迟分布、吞吐、显存与精度，作为对照。
- 采集剖析数据：用工具抓取时间线，区分 H2D/D2H 拷贝、内核执行、同步等待与 CPU 调度开销。
- 提出瓶颈假设：例如“P99 抖动来自动态频率切换”或“卷积层受限于显存带宽”。
- 小步验证：每次只改一个变量，如开启 FP16、调整批大小、启用 CUDA Graph，观察指标变化。
- 固化与回归：将有效配置写入部署脚本，并纳入精度与延迟的持续回归测试。
# 锁定 GPU 时钟与功耗，保证测量可复现
sudo nvidia-smi -pm 1
sudo nvidia-smi -lgc 1410,1410
sudo nvidia-smi -pl 250
# 采集推理时间线
nsys profile --trace=cuda,nvtx -o infer_profile python run_infer.py五、典型场景与误区复盘
以一个常见的 BEV 感知模型为例：在 Orin 平台上，原始 FP32 模型单帧延迟约 85 ms，无法满足 50 ms 的时延预算。团队先做 FP16 量化，延迟降至 52 ms；再启用算子融合与 CUDA Graph，降至 41 ms；最后通过内存复用与流水线重叠，P99 稳定在 46 ms 以内，同时 mAP 下降控制在 0.4% 以内。这个过程说明：调优往往是多手段叠加，而非单一“银弹”。
初学者常见的误区包括：
- 只看平均延迟：忽略 P99 与最大延迟，导致偶发卡顿在实车上被放大。
- 盲目增大批处理：吞吐上去了，但单帧延迟超出控制周期，反而破坏实时性。
- 忽略数据拷贝：CPU 与 GPU 之间的频繁拷贝常是隐藏瓶颈，却容易被算力指标掩盖。
- 不做精度回归：量化后未验证长尾场景，导致夜间或雨雾条件下召回骤降。
六、学习路径建议
本课程后续将沿着“度量—剖析—优化—验证”的主线展开。建议学习者按以下路径推进：先掌握性能指标与测量方法，再深入算子与内存层面的剖析，随后学习量化、融合、并行等优化技术，最后通过真实部署案例完成端到端调优。每学完一个模块，都应在自己的目标硬件上复现一次实验，把知识转化为可复用的工程经验。
推理引擎性能分析是一门“测量驱动”的工程学科。只有建立清晰的性能坐标系，理解从模型到车端的完整链路，并坚持用数据验证每一次改动，才能在自动驾驶严苛的实时与安全约束下，把推理引擎调到真正可用的状态。