3、AI模型基础与选型：卷积神经网络、Transformer、轻量化模型（MobileNet、EfficientNet）在车载场景的适用性

在车载嵌入式平台上部署AI模型，核心矛盾在于算力资源受限（通常为几TOPS到几十TOPS的NPU/GPU）、功耗与散热约束（车规级TDP通常低于15W）、实时性要求（感知链路端到端延迟需控制在100ms以内）与模型精度需求（目标检测mAP需达到0.7以上）之间的冲突。本章从卷积神经网络（CNN）、Transformer、轻量化模型三大技术路线出发，分析其在车载场景（前视摄像头、环视、舱内监控、毫米波雷达点云处理）中的适用边界，并给出可落地的选型决策框架。

上图展示了车载AI模型选型的核心决策框架。三类模型在架构特性、硬件映射效率、精度-算力权衡上存在显著差异。实际工程中，没有最优的模型，只有最适合特定场景和硬件约束的方案。下面从原理、判断方法、实战案例和常见误区四个维度展开。

3.1 核心原理：三类模型的计算特性与硬件映射

卷积神经网络（CNN）通过局部连接和权值共享提取空间特征。其核心算子为卷积（Conv2D）、批归一化（BN）、激活（ReLU/ReLU6）和池化。在车载NPU（如地平线征程5、英伟达Orin、Mobileye EyeQ5）上，卷积操作可高度并行化，且权重矩阵规则排列，非常适合INT8量化。典型代表YOLOv5s在Orin上可达到3ms以内的单帧推理延迟（640×640输入）。但CNN的局限性在于感受野有限，对长距离依赖和全局上下文建模能力弱，在BEV（鸟瞰图）视角下多摄像头特征融合时，需要额外的IPM（逆透视映射）或注意力模块来弥补。

Transformer基于自注意力机制（Self-Attention），能够直接建模任意两个位置之间的依赖关系。在车载场景中，BEVFormer、DETR3D等模型利用Transformer将多摄像头2D特征投影到3D空间，实现端到端的BEV感知。其优势是精度上限高，尤其适合复杂路口、遮挡场景。但代价是计算量巨大：标准ViT-B/16在224×224输入下需要17.6 GFLOPs，且注意力矩阵的内存访问量随序列长度平方增长。在嵌入式平台上，需要采用窗口注意力（Window Attention）、稀疏注意力或剪枝策略来降低计算量。

轻量化模型（MobileNet、EfficientNet）通过深度可分离卷积（Depthwise Separable Convolution）、通道混洗（Channel Shuffle）、神经架构搜索（NAS）等技术，在保持精度的同时大幅降低参数量和计算量。MobileNetV3-Large在ImageNet上达到75.2% Top-1精度，仅需219 MFLOPs，是ResNet-50的1/18。EfficientNet-B0通过复合缩放（Compound Scaling）在同等算力下比ResNet-50精度高约3%。这类模型非常适合部署在低算力MCU（如Infineon AURIX TC3xx）或作为大模型的特征提取骨干。

模型类型	典型代表	计算量 (GFLOPs)	内存占用 (MB)	INT8量化损失	车载适用等级
CNN	YOLOv5s / ResNet-50	16.5 / 4.1	14.5 / 25.6	0.5-1.5% mAP	L2+ 前视/环视
Transformer	BEVFormer-T / DETR-R50	115.2 / 86.7	48.2 / 31.4	2-4% mAP	L3+ 融合感知
轻量化	MobileNetV3-Large	0.22	5.4	0.3-0.8%	舱内/后视/低算力
轻量化	EfficientNet-B0	0.39	5.3	0.4-1.0%	边缘盒子/预警

3.2 判断方法：基于车载约束的选型流程

在实际项目中，选型不能只看精度排行榜，必须结合目标硬件算力、内存带宽、延迟预算、功耗限制、量产成熟度五个维度进行综合评估。以下是标准化的选型操作流程：

1. 定义任务边界：明确是2D目标检测、语义分割、3D目标检测还是多传感器融合。不同任务对模型结构有天然偏好。例如，2D检测首选CNN系列（YOLO/FCOS），3D检测若基于激光雷达点云，PointPillars（CNN）比Transformer更高效。
2. 硬件算力匹配：查阅芯片NPU算力（如Orin 254 TOPS INT8，征程5 128 TOPS）。经验法则：模型计算量（MACs）应控制在NPU峰值算力的30%-50%，预留余量给预处理、后处理和系统调度。
3. 内存带宽评估：Transformer的Self-Attention需要频繁读写中间特征图，对DDR带宽消耗极大。若芯片内存带宽有限（如LPDDR4 4266MHz），应优先选择CNN或轻量化模型。
4. 量化敏感性测试：将模型转为INT8后，在验证集上测试精度下降幅度。若下降超过2%，需考虑QAT（量化感知训练）或改用更稳健的模型。
5. 车规生态验证：检查模型是否已在目标芯片的参考模型库中（如NVIDIA TAO、地平线OpenExplorer），是否有经过车规认证的部署SDK支持。

3.3 案例拆解：MobileNetV3在舱内疲劳监测（DMS）中的部署

背景与约束：某Tier 1供应商需在车规级MCU（Infineon TC397，主频300MHz，无NPU，仅CPU）上部署驾驶员疲劳检测模型，输入为红外摄像头（640×480@30fps），要求帧率≥15fps，内存占用≤2MB，功耗≤1.5W。

初始现象与目标：最初尝试使用ResNet-18作为特征提取器，单帧推理耗时380ms，远超预算。目标是将推理时间压缩至66ms以内，同时保持眼睛开闭状态分类准确率≥95%。

关键输入数据与参数：模型输入裁剪为128×128灰度图，分类任务为3类（睁眼/闭眼/打哈欠）。MCU的CPU支持SIMD指令（如ARM Cortex-R5F），但无硬件加速器。

分析判断过程：ResNet-18的4.1 GFLOPs计算量在300MHz CPU上理论耗时约400ms，显然不可行。MobileNetV3-Large计算量仅0.22 GFLOPs，理论耗时约22ms，但内存占用5.4MB超出限制。MobileNetV3-Small计算量仅0.056 GFLOPs，内存占用2.1MB，接近限制。

实际操作步骤：

1. 采用MobileNetV3-Small作为骨干，将最后全连接层替换为3节点分类头。
2. 使用PTQ（后训练量化）将权重从FP32转为INT8，精度损失0.4%。
3. 针对MCU的SIMD指令集，将深度可分离卷积的Depthwise部分手工优化为循环展开+向量化。
4. 将输入分辨率从128×128降至96×96，准确率仅下降0.7%，计算量再降44%。

结果对比：最终模型单帧推理耗时58ms，内存占用1.8MB，功耗1.2W，准确率96.1%。相比初始ResNet-18方案，推理速度提升6.5倍，内存减少65%。

风险与代价：降低输入分辨率导致小目标（如眯眼）检测能力下降，需在夜间低光照场景下额外增加红外补光强度。此外，手工汇编优化代码维护成本高，需在代码注释中详细说明。

复盘经验：在无NPU的MCU上，模型结构选择比精度优化更重要。MobileNetV3的深度可分离卷积在CPU上比标准卷积快5-8倍，且INT8量化几乎无损。建议在项目早期就建立硬件在环（HIL）测试环境，避免后期才发现算力不足。

3.4 常见误区与总结复盘

总结：车载AI模型选型应遵循“任务驱动、硬件约束、量化优先、生态验证”的原则。CNN仍是当前L2级量产项目的主流选择，Transformer在L3+ BEV感知中展现出潜力，但需配合稀疏化、剪枝等优化手段。轻量化模型在低算力场景（舱内、后视、预警）中具有不可替代的优势。建议团队建立模型仓库，对每个候选模型在目标芯片上进行标准化Benchmark（延迟、内存、精度、功耗），形成数据驱动的选型决策。