📚 课程目录第1章课程导入

1. 课程导入

自动驾驶系统本质上是一个强实时、强安全、资源受限的嵌入式智能系统。感知、预测、规划、控制等模块往往同时运行在车端计算平台上，而车端平台的算力、功耗、散热、成本和功能安全约束都非常严格。以典型城区NOA场景为例，BEV感知、Transformer时序融合、多任务检测分割、Occupancy网络等模型参数量动辄数亿，单帧推理延迟必须稳定控制在几十毫秒以内，否则会直接影响规控模块的安全响应。模型精度再高，如果无法在车端稳定、低延迟、低功耗地运行，就无法形成真正的工程价值。

一、自动驾驶模型部署的核心挑战

自动驾驶模型部署面临的挑战并不是单一的“模型太大”，而是精度、延迟、功耗、内存、带宽、工具链与安全合规之间的多目标冲突。常见挑战可以归纳为以下几类：

算力与延迟矛盾：车端SoC的TOPS有限，而BEV+Transformer类模型计算密度高，容易出现帧率抖动。
内存与带宽瓶颈：大模型权重和中间特征图占用大量DDR带宽，带宽饱和会拖慢整个流水线。
功耗与散热限制：车规级芯片通常有严格功耗上限，持续高负载会触发降频，导致延迟不稳定。
精度与安全冗余：量化或剪枝后若精度下降，可能影响召回率、误检率，进而影响功能安全。
工具链与算子支持：训练框架与推理引擎之间存在算子差异，量化算子、动态shape、自定义插件都可能成为落地障碍。
多模型协同：感知、预测、规划模型共享算力，单模型优化不等于系统级最优。

部署优化的目标不是单纯追求“最小模型”，而是在给定车端资源约束下，找到精度、延迟、功耗、内存和工程可维护性的最佳平衡点。

二、量化、剪枝与蒸馏的工程价值

模型压缩与加速技术中，量化、剪枝和知识蒸馏是最具工程落地价值的三类方法。它们分别从数值表示、结构稀疏和知识迁移三个维度降低模型复杂度。

量化将FP32权重和激活映射到INT8、INT4甚至更低比特，直接减少模型体积、降低内存带宽需求，并利用整数运算单元提升推理速度。对于自动驾驶芯片，INT8通常是性价比最高的选择，部分场景可进一步探索INT4。量化的关键难点在于校准数据选择、敏感层保护、激活值离群点处理以及量化算子与推理引擎的匹配。

剪枝通过移除冗余权重、通道、注意力头或层结构，降低计算量和参数量。结构化剪枝对硬件更友好，能直接减少卷积通道和矩阵维度；非结构化剪枝虽然压缩率高，但需要稀疏计算库支持。剪枝的核心是找到“重要性低但移除后精度损失小”的结构，并通过微调恢复精度。

知识蒸馏让轻量学生模型学习大教师模型的软标签、中间特征或注意力分布，从而在更小参数量下逼近教师精度。蒸馏特别适合自动驾驶中的多任务模型、BEV模型和时序融合模型，因为它不仅传递类别信息，还传递了教师对场景结构、空间关系和不确定性的理解。

技术	优化维度	典型收益	主要风险	车端关注点
量化	数值精度	体积降4倍，带宽降4倍，速度提升2~4倍	精度掉点、离群值、算子不支持	INT8算子覆盖、校准集代表性
剪枝	结构稀疏	计算量降30%~70%，参数量下降	结构破坏、精度难恢复	结构化剪枝、硬件友好
蒸馏	知识迁移	小模型精度逼近大模型	教师偏差传递、训练成本高	多任务蒸馏、时序一致性

三、典型工程场景：从训练模型到车端部署

假设我们有一个BEV感知模型，训练时使用FP32，参数量约1.2亿，在服务器GPU上单帧推理约35ms。目标平台是车端NPU，算力约200TOPS INT8，要求单帧延迟不超过25ms，功耗不超过30W。直接部署FP32模型显然不可行，需要经过一条完整的压缩与部署流水线：

训练模型 FP32
  → 敏感度分析
  → 结构化剪枝 + 微调
  → 知识蒸馏（教师：大模型；学生：剪枝后模型）
  → INT8量化校准（PTQ/QAT）
  → 推理引擎转换（ONNX/TensorRT/自研NPU工具链）
  → 车端精度与延迟回归测试
  → 安全冗余与回滚策略

这条流水线中，每一步都可能影响最终精度和延迟。例如，剪枝后模型结构变化可能导致量化校准分布偏移；蒸馏时教师模型若本身存在偏差，学生模型可能继承错误；量化校准集若只覆盖白天高速场景，夜间城区场景可能严重掉点。因此，工程上必须建立“压缩—评估—回归—回滚”的闭环。

建议在项目早期就建立精度基线、延迟基线和功耗基线。没有基线的优化，无法判断收益，也无法定位回退原因。

四、常见误区与复盘思路

很多团队在模型压缩中容易陷入以下误区：

只关注参数量，不关注实际延迟。参数量小不等于车端快，内存访问、算子融合、并行度同样关键。
先剪枝再量化，忽略敏感度顺序。不同模型对剪枝和量化的敏感层不同，顺序和粒度需要实验确定。
校准集随便选。量化校准集必须覆盖真实部署场景，包括夜间、雨天、逆光、拥堵等长尾场景。
蒸馏只学软标签。中间特征、注意力图、时序一致性约束往往比单纯软标签更有效。
缺少系统级评估。单模型精度达标，不代表端到端规控安全性和舒适性达标。

量化、剪枝和蒸馏不是互相替代的关系，而是可以组合使用的工程手段。组合顺序、参数配置和评估指标必须围绕车端部署目标来设计，不能为了压缩而压缩。

五、课程学习目标与整体知识框架

本课程围绕“可部署、可验证、可回滚”的工程目标展开，帮助学习者建立从模型压缩理论到车端落地的完整能力。学习目标包括：

理解自动驾驶模型部署的算力、延迟、功耗、内存和功能安全约束。
掌握量化、剪枝、蒸馏的核心原理、适用场景和工程实现方法。
能够设计敏感度分析、校准集构建、蒸馏策略和剪枝微调流程。
能够使用主流工具链完成模型转换、量化部署和性能回归。
能够建立精度、延迟、功耗、内存等多维评估体系，并制定回滚策略。

整体知识框架可以概括为“一个目标、三条技术主线、五个工程环节”。一个目标是车端高效安全部署；三条技术主线是量化、剪枝、蒸馏；五个工程环节是基线建立、敏感度分析、压缩优化、部署转换、回归验证。后续章节将沿着这条主线逐步展开。