3. 深度学习基础回顾

自动驾驶系统对感知、预测、决策的实时性与鲁棒性要求极高，而深度学习模型正是支撑这些能力的核心引擎。本章并非简单罗列网络结构，而是从自动驾驶工程落地的视角，重新审视四类主流架构——卷积神经网络（CNN）、循环神经网络（RNN）、Transformer 与注意力机制——各自解决什么问题、在车端算力约束下如何选型、以及它们如何组合成一套完整的端到端方案。我们将以传感器数据流为主线，梳理从像素到控制指令的深度学习映射关系。

自动驾驶深度学习架构协同关系图 传感器输入 Camera / LiDAR / Radar CNN 特征提取 BEV 特征 / 2D检测 语义分割 / 深度估计 RNN / LSTM 时序 轨迹预测 / 速度估计 历史状态编码 Transformer 全局建模 多传感器融合 / 注意力 长距离依赖 / 场景理解 决策与规划 路径规划 / 行为决策 控制信号生成 注意力机制 贯穿 CNN / RNN / Transformer 特征加权 / 关键区域聚焦 端到端方案中，CNN负责局部特征，RNN处理时序，Transformer建模全局交互，注意力机制作为通用增强模块 实际部署时需根据算力、延迟、精度要求进行混合架构设计 典型组合：CNN(感知) + Transformer(融合) + RNN(预测) + 注意力(特征增强) → 端到端控制

上图展示了四类模型在自动驾驶系统中的协同关系。CNN 作为视觉感知的基础，负责从原始像素中提取结构化特征；RNN 家族处理时间序列信息，对车辆轨迹和动态障碍物进行时序建模；Transformer 通过自注意力机制实现多传感器特征的空间-时间全局关联；而注意力机制本身则作为一种通用增强模块，可嵌入上述任意架构中，提升模型对关键区域的聚焦能力。在端到端方案中，这些模型并非孤立存在，而是以混合架构的形式协同工作。

3.1 卷积神经网络（CNN）：从像素到语义的视觉基石

核心原理

CNN 通过卷积核在特征图上的滑动操作，自动学习图像的空间层次特征。其核心归纳偏置是局部连接与权重共享——相邻像素的相关性远高于远距离像素，且同一特征模式在图像不同位置具有平移不变性。在自动驾驶中，CNN 通常作为骨干网络（Backbone）处理前视相机、环视鱼眼相机或激光雷达点云投影后的伪图像数据。

典型结构包括：卷积层（特征提取）、池化层（降维）、激活函数（引入非线性）、以及全连接层或全局平均池化（输出预测）。现代自动驾驶感知模型多采用 ResNet、EfficientNet、MobileNet 等变体，在精度与推理速度之间取得平衡。

判断方法或操作流程

在工程选型时，需根据传感器类型与任务目标确定 CNN 的输入形式与输出头：

  • 2D 目标检测：输入单目或双目图像，输出边界框与类别，常用 YOLO 系列或 FCOS 等单阶段检测器。
  • BEV 语义分割：将多相机特征投影到鸟瞰图网格，输出可行驶区域、车道线、障碍物占用，常用 LSS（Lift-Splat-Shoot）或 BEVFormer 中的 CNN 部分。
  • 点云处理：将 3D 点云体素化后使用 3D CNN，或投影为 Range View 使用 2D CNN，代表模型如 VoxelNet、PointPillars。

操作流程通常为：数据预处理（去畸变、裁剪、归一化）→ 特征提取 → 任务头解码 → 后处理（NMS、阈值过滤）→ 输出结构化感知结果。

案例拆解：MobileNet 在嵌入式平台上的车道线检测

某 L2+ 量产项目需要在 30 TOPS 的域控制器上实现车道线检测，要求延迟小于 15ms。初始方案采用 ResNet-50 作为骨干，精度满足要求但延迟达到 28ms，超出预算。团队改用 MobileNetV3-Large 作为特征提取器，配合轻量级分割头，并采用 TensorRT FP16 量化。

关键参数对比：ResNet-50 参数量 25.6M，FLOPs 4.1G；MobileNetV3 参数量 5.4M，FLOPs 0.7G。实际测试中，MobileNetV3 在保持车道线 IoU 仅下降 1.2% 的情况下，延迟降至 11ms，功耗降低 40%。复盘经验：在算力受限场景下，应优先考虑轻量级骨干网络，并通过知识蒸馏（用 ResNet-50 作为教师模型）弥补精度损失。

常见误区

误区一：认为 CNN 只能处理图像。实际上，通过将激光雷达点云体素化或投影为 2D 特征图，CNN 同样适用于 3D 感知。

误区二：盲目追求深层网络。在自动驾驶中，推理延迟与精度同等重要，过深的网络可能导致帧率不足，引发安全风险。

误区三：忽略感受野的影响。小卷积核堆叠可以增大感受野，但需要更多层数，需在设计中权衡。

3.2 循环神经网络（RNN）与长短期记忆网络（LSTM）：时序建模的经典方案

核心原理

RNN 通过隐藏状态在时间步之间的循环传递，建模序列数据的动态依赖。然而，标准 RNN 存在梯度消失/爆炸问题，难以捕捉长距离依赖。LSTM 通过引入输入门、遗忘门、输出门和细胞状态，有效缓解了这一问题。在自动驾驶中，RNN/LSTM 主要用于：

  • 车辆轨迹预测：基于历史轨迹预测未来 3-5 秒的位置分布。
  • 驾驶员意图识别：处理方向盘转角、踏板开度等时序信号。
  • 传感器时序融合：融合多帧检测结果，平滑感知输出。

判断方法或操作流程

选择 RNN 还是 LSTM 需考虑序列长度与计算资源：

维度标准 RNNLSTMGRU
参数量少多（约4倍于RNN）介于两者之间
长依赖能力弱强较强
计算开销低高中等
适用场景短序列、实时性要求极高轨迹预测、行为建模资源受限的时序任务

工程实现中，通常将 LSTM 的隐藏层维度设置在 64-256 之间，输入特征包括位置、速度、加速度、航向角等。训练时需注意序列长度对齐，并使用 Teacher Forcing 策略加速收敛。

案例拆解：LSTM 在交叉路口车辆意图预测中的应用

某自动驾驶公司开发城市 NOA 功能时，需要在十字路口预测对向直行车辆是否会让行。团队采集了 2000 组真实路口交互数据，每组包含 3 秒历史轨迹（10Hz 采样）和对应的让行/不让行标签。

模型输入为 30 个时间步的特征向量（相对位置、速度、加速度、转向灯状态），LSTM 隐藏层 128 维，后接两层全连接输出二分类概率。训练时采用交叉熵损失，Adam 优化器，初始学习率 0.001，batch size 64。

结果显示，LSTM 模型的 AUC 达到 0.93，相比基于规则的方法（阈值判断速度变化）准确率提升 18%。风险与代价：LSTM 对输入噪声敏感，当传感器丢帧时预测性能下降明显。团队增加了缺失值填充机制（线性插值+掩码向量），将鲁棒性提升了 12%。

常见误区

经验提醒：RNN 并非越长越好。在自动驾驶场景中，历史轨迹超过 5 秒的信息增益显著下降，反而增加计算负担。建议根据场景动态调整时间窗口长度。

误区：将 RNN 用于所有时序任务。对于周期性强的信号（如车辆速度），Transformer 或纯卷积的时序模型（TCN）可能更高效。

3.3 Transformer 与注意力机制：全局建模与多模态融合的新范式

核心原理

Transformer 基于自注意力机制（Self-Attention），通过计算输入序列中任意两个位置之间的关联权重，实现全局上下文建模。其核心公式为：Attention(Q,K,V) = softmax(QK^T/√d)·V，其中 Q、K、V 分别由输入特征线性变换得到。多头注意力机制（Multi-Head Attention）允许模型在不同子空间学习多样化的特征关系。

在自动驾驶中，Transformer 的应用主要体现在三个方面：

  1. 多传感器融合：将相机、激光雷达、毫米波雷达的特征序列化后，通过交叉注意力实现跨模态对齐。
  2. BEV 感知：如 BEVFormer 使用可变形注意力将 2D 图像特征提升到 3D BEV 空间。
  3. 端到端规划：将感知特征与高精地图、导航信息编码为 序列，直接输出轨迹。

判断方法或操作流程

注意力机制并非万能，需根据任务特性选择合适的形式：

注意力类型计算复杂度适用场景代表模型
全局自注意力O(n²)序列长度短（如 100 个 ）原始 Transformer
可变形注意力O(n·k)BEV 特征图较大时BEVFormer
线性注意力O(n)长序列、实时推理Performer
交叉注意力O(n·m)多模态融合TransFuser

工程部署时，需注意 Transformer 的推理效率问题。常见优化手段包括： 剪枝（移除低注意力权重的 ）、量化（INT8）、以及将注意力计算融合到 TensorRT 的自定义算子中。

案例拆解：BEVFormer 在环视感知中的应用

某 Robotaxi 项目需要实现 360° 无盲区感知，采用 6 路环视相机。传统方法分别处理每路图像再拼接，存在视角重叠区域的重复检测和边缘畸变问题。团队采用 BEVFormer 架构，将 6 路图像特征通过可变形注意力投影到统一的 BEV 网格（200×200，分辨率 0.5m）。

关键参数：BEV 查询特征维度 256，Transformer 编码器 6 层，每层 8 个注意力头。训练数据为 10 万帧标注数据，使用 8 张 A100 GPU 训练 3 天。推理时，在 Orin 平台上通过 TensorRT 优化，单帧延迟 35ms，满足 20FPS 的实时要求。

结果对比：相比基于逆透视映射（IPM）的传统方法，BEVFormer 在 100m 距离内的车辆检测召回率提升 22%，且对遮挡目标的鲁棒性显著增强。复盘经验：Transformer 的训练需要大量数据，建议先使用预训练权重（如 BEiT）初始化，再在自动驾驶数据集上微调，可减少 40% 的训练时间。

常见误区

误区一：认为 Transformer 完全取代 CNN。实际上，在特征提取的早期阶段，CNN 的归纳偏置（局部性、平移不变性）仍然高效，纯 Transformer 架构在数据量不足时容易过拟合。

误区二：忽视位置编码的重要性。自动驾驶中的空间位置关系对感知至关重要，必须使用可学习的位置编码或 3D 位置嵌入。

误区三：注意力机制的计算开销被低估。在嵌入式平台上，自注意力的矩阵乘法可能成为瓶颈，需通过稀疏化或近似方法优化。

3.4 混合架构设计与工程实践要点

核心原理

端到端自动驾驶方案通常采用混合架构，发挥各模型优势：CNN 负责高效的局部特征提取，Transformer 处理全局空间关系，RNN 或时序卷积建模时间动态，注意力机制作为通用增强模块嵌入各层。这种设计既保证了感知精度，又兼顾了推理效率。

操作流程

设计混合架构时，建议遵循以下步骤：

  1. 任务分解：明确感知、预测、规划各子任务的输入输出。
  2. 特征对齐：统一各模态特征的空间分辨率与通道数，便于融合。
  3. 模块组合：选择骨干网络（CNN/Transformer）+ 时序模块（RNN/TCN）+ 融合模块（交叉注意力）。
  4. 端到端训练：先分模块预训练，再联合微调，使用多任务损失函数。
  5. 部署优化：模型剪枝、量化、算子融合，确保满足实时性要求。

案例拆解：TransFuser 在 CARLA 模拟器中的端到端驾驶

TransFuser 是经典的端到端驾驶模型，其架构为：CNN（ResNet-34）处理相机图像，PointNet 处理激光雷达点云，两者特征通过 Transformer 的交叉注意力模块融合，最终由 GRU 生成转向、加速、制动控制信号。

在 CARLA 模拟器的 Town05 复杂路况测试中，TransFuser 的驾驶得分（Driving Score）达到 78.6，远超纯 CNN 基线（62.3）和纯 Transformer 基线（70.1）。关键发现：注意力机制在融合阶段的作用至关重要——它让模型动态决定当前时刻更依赖视觉特征还是激光雷达特征，例如在夜间场景自动增加激光雷达权重。

风险与代价：混合架构的参数量较大（约 80M），在车端部署时需将 FP32 转为 INT8，精度损失约 2%。团队通过量化感知训练（QAT）将损失控制在 0.8% 以内。

常见误区与总结

核心总结：深度学习架构的选择应基于任务需求、数据特性与硬件约束的综合权衡。CNN 是感知的基础，RNN 适合短时序建模，Transformer 擅长全局关联，注意力机制是灵活的增强工具。在端到端方案中，混合架构是主流趋势，但需注意模块间的特征对齐与训练策略。

工程实践中，建议团队建立标准化的模型评估流程：在固定数据集上对比精度、延迟、内存占用、功耗等指标，并针对 corner case（如极端天气、传感器故障）进行专项测试。同时，保持对最新研究的关注——例如基于 Mamba 的状态空间模型正在挑战 Transformer 在长序列建模中的主导地位，未来可能在自动驾驶中开辟新的范式。

← 上一章 📖 返回目录 下一章 →