1. 课程导入
当我们在实验室里训练出一个在 nuScenes 或 Waymo Open Dataset 上 mAP 表现优异的感知模型时，真正的挑战才刚刚开始。模型需要被量化、编译、封装，最终运行在车端算力受限的 SoC 上，并在雨雾、逆光、隧道、拥堵等长尾场景中持续输出可信结果。自动驾驶模型部署可靠性工程，正是研究"模型从训练完成到车端长期稳定运行"这一全链路上，如何量化、评估、保障并持续提升系统可靠性的工程学科。
它不等同于单纯的模型压缩，也不等同于传统的软件测试。它横跨机器学习、嵌入式系统、功能安全与运维观测四个领域，核心问题是：在算力、功耗、内存、时延的硬约束下，如何让模型在真实道路环境中保持可预测、可验证、可回滚的行为。
一、核心概念界定
理解本课程，需要先建立五个基础概念：
- 部署可靠性（Deployment Reliability）：模型在目标硬件与目标运行环境下，于规定时间与规定条件下完成规定功能的能力，通常用失效率、MTBF、任务成功率等指标度量。
- 数值一致性（Numerical Consistency）：训练框架（PyTorch）与推理引擎（TensorRT / ONNX Runtime）之间，因算子实现、精度模式、融合策略差异导致的输出偏差。
- 鲁棒性边界（Robustness Boundary）：模型在输入扰动、传感器噪声、极端光照下仍能维持安全输出的工作范围。
- 可观测性（Observability）：车端对推理时延、显存占用、置信度分布、异常输入等信号的采集与上报能力。
- 安全降级（Safe Degradation）：当模型置信度低或推理超时时，系统切换到规则模块、冗余模型或最小风险策略的机制。
二、整体知识框架
本课程的知识体系可划分为五个层次，从底层硬件到上层运维逐级递进，同时每一层都存在可靠性风险点。下图展示了这一框架及其关键风险传导路径：
五层之间并非孤立：算法层的量化敏感度会放大编译层的数值偏差，硬件层的热降频会触发安全层的超时降级，而运维层采集的失效样本又反向驱动算法层的鲁棒性迭代。这种跨层耦合，正是可靠性工程区别于单点优化的关键。
三、学习目标与能力矩阵
完成本课程后，学习者应具备以下四类能力，下表给出能力项与对应验证方式的对照：
| 能力维度 | 具体目标 | 验证方式 |
|---|---|---|
| 分析能力 | 能定位精度损失发生在量化、编译还是运行时阶段 | 逐层输出对比报告 |
| 工程能力 | 能配置 TensorRT 精度模式并完成一致性校验 | 端到端部署脚本 |
| 测试能力 | 能设计覆盖长尾场景的可靠性测试用例集 | 场景覆盖率统计 |
| 运维能力 | 能搭建车端埋点与影子模式数据回流链路 | 可靠性看板与告警 |
四、典型场景：一次精度骤降的复盘
某量产项目在将 YOLOv8 检测模型部署到 Orin 平台时，离线测试 mAP 从 0.72 降至 0.61。团队最初怀疑是量化误差，但逐层排查后发现：编译阶段启用了 --fp16 且开启了层融合，导致某个 SiLU 激活函数在融合后被近似为 ReLU，在低照度输入下输出分布偏移。修复方式是禁用该层融合并单独校验激活输出。
# 逐层一致性校验片段
trtexec --onnx=model.onnx --fp16 \
--dumpLayerInfo --exportLayerInfo=layer.json
python compare_layers.py \
--torch_out torch_layer.npy \
--trt_out trt_layer.npy \
--atol 1e-3 --rtol 1e-2
# 输出: layer 47 (SiLU) max_abs_diff = 0.087 → 超阈值五、学习路径建议
- 建立基线：先掌握 PyTorch → ONNX → TensorRT 的标准转换链路，理解每一环的精度与性能代价。
- 量化与校验：学习 PTQ/QAT 方法，掌握逐层对比、敏感度分析与校准集构建。
- 系统集成：理解 SoC 资源约束、多模型调度与端到端时延预算分配。
- 安全降级：设计置信度门限、冗余推理与最小风险策略，完成故障注入测试。
- 观测闭环：搭建车端埋点、影子模式与 OTA 灰度，形成"发现—复现—修复—验证"的可靠性闭环。
可靠性不是一次性的验收动作，而是贯穿模型全生命周期的工程习惯。接下来的章节将沿着上述五层框架逐层展开，从量化误差的数学来源，到车端埋点的工程实现，帮助你把"能跑通"变成"敢上路"。