2. 自动驾驶感知模型基础
自动驾驶感知模型不是单一网络，而是一条从图像/点云输入到三维场景理解的完整链路。要理解量化、剪枝与蒸馏为什么在车端如此关键，必须先看清这条链路上四类主流结构的计算特征与部署瓶颈。本节从结构、算子和部署约束三个维度展开，为后续压缩技术建立“可下手”的对象认知。
一、四类主流结构的分工与演进
当前量产与预研方案中，感知主干大致分为四类：CNN 负责高效局部特征提取，是图像与点云体素化的基础；Transformer 通过自注意力建模长程依赖，常用于多相机融合与时序建模；BEV（Bird's Eye View）把多视角图像统一到俯视栅格空间，解决跨相机几何对齐；Occupancy 进一步把空间划分为三维体素并预测占用与语义，直接服务规划控制。四者并非替代关系，而是常以“CNN 主干 + Transformer 融合 + BEV 投影 + Occupancy 头”的复合形态出现。
二、计算特点与参数关系
CNN 的计算量近似为 H×W×Cin×Cout×K×K，显存占用集中在激活与权重；其优势是算子规整、易量化，INT8 部署成熟。Transformer 的计算量随序列长度呈平方增长，注意力矩阵 N×N 是显存与延迟的主要来源，且 Softmax、LayerNorm 对量化误差敏感。BEV 的关键是视图变换：无论是 LSS 式的深度分布采样，还是基于注意力的 BEVFormer 查询，都会产生大量不规则索引与 gather 操作，这类算子在车端 NPU 上往往难以高效映射。Occupancy 头输出 X×Y×Z×C 体素，通道数与分辨率共同决定显存峰值，稀疏化与类别剪枝空间大。
| 结构 | 核心算子 | 计算/显存特征 | 部署约束 | 压缩切入点 |
|---|---|---|---|---|
| CNN | Conv、BN、ReLU | 算力密集、访存规整 | INT8 友好，需算子融合 | 通道剪枝、BN 稀疏、权重量化 |
| Transformer | QKV、Softmax、FFN | 序列平方复杂度、显存高 | Softmax/LayerNorm 量化敏感 | 头剪枝、Token 剪枝、注意力蒸馏 |
| BEV | 投影采样、栅格化、Gather | 不规则访存、带宽受限 | NPU 对动态索引支持弱 | 分辨率裁剪、查询数缩减 |
| Occupancy | 3D 卷积、稀疏卷积、体素头 | 显存峰值高、输出维度大 | 显存与带宽双重压力 | 体素稀疏化、类别剪枝、低秩分解 |
三、部署约束：从 GPU 到车端 NPU
训练常在 GPU 上完成，但部署目标是算力有限、功耗受限、算子支持集固定的车端芯片。典型约束包括：算子支持——动态 shape、Gather、TopK 等可能回退到 CPU，造成延迟抖动；显存带宽——BEV 与 Occupancy 的中间张量往往比权重更大，带宽成为真瓶颈；精度格式——多数 NPU 对 INT8 支持最好，INT4 与混合精度需逐层验证；实时性——感知需在 30～100ms 内完成，任何一层超时都会拖垮整条流水线。
典型车端部署检查清单：
1. 算子是否全部落在 NPU 支持列表内？
2. 是否存在动态 shape 或数据依赖的控制流？
3. 峰值显存是否超过芯片可用内存预算？
4. INT8 校准后 mAP/NDS 掉点是否在可接受范围？
5. 端到端延迟是否满足帧率与安全冗余要求？四、案例与场景：BEV 感知的压缩优先级
以某量产 BEV 感知方案为例：图像主干为 ResNet 变体，融合层使用 Transformer，BEV 编码器输出 200×200 栅格，检测头与 Occupancy 头共享特征。实测发现，主干卷积仅占约 35% 延迟，而 BEV 投影与注意力层合计超过 50%，显存峰值出现在 Occupancy 体素头。因此压缩优先级应为：先对 Occupancy 头做体素稀疏化与类别剪枝，再对注意力头做结构化剪枝，最后对主干做 INT8 量化。若顺序颠倒，先压主干往往收益有限，却可能损伤特征质量，导致后续 BEV 与 Occupancy 精度连锁下降。
五、常见误区与复盘
- 误区一：只关注参数量。参数量小不等于延迟低，BEV 与 Occupancy 的中间激活常是显存主因。
- 误区二：把 Transformer 当普通卷积压。注意力头剪枝需保持 QKV 维度一致，否则无法加载权重。
- 误区三：忽略算子回退。一个 Gather 回退 CPU，可能让整帧延迟翻倍。
- 误区四：量化后不重新校准。BEV 投影的深度分布对量化尺度极敏感，必须用真实数据校准。
复盘结论：理解 CNN、Transformer、BEV、Occupancy 的结构差异与部署约束，是制定压缩策略的前提。只有把“压什么、为什么压、压完是否还能跑在 NPU 上”三件事对齐，量化、剪枝与蒸馏才能真正落地到车端感知系统。