3. 感知与表示学习
端到端规划控制模型的核心挑战，在于如何从原始传感器数据中提取出足以支撑驾驶决策的结构化信息。与传统的“感知-预测-规划”模块化流水线不同，端到端模型要求感知模块输出的表示必须同时具备几何精确性、语义丰富性和时序一致性。本章聚焦于多传感器融合策略、鸟瞰图（BEV）表示的构建方法，以及语义分割与目标检测在端到端框架中的角色重定义。我们将从传感器物理特性出发，分析其在端到端模型中的融合层级，并深入探讨BEV表示为何成为当前主流范式，最后通过一个实际案例展示从传感器原始数据到BEV特征的完整工程链路。
3.1 多传感器融合的层级与策略
核心原理：从物理特性到融合必要性
摄像头、激光雷达与毫米波雷达在物理特性上具有极强的互补性。摄像头提供高分辨率的纹理与颜色信息，但缺乏深度且对光照敏感；激光雷达直接输出精确的3D点云坐标，但点云稀疏、成本高且无法感知颜色；毫米波雷达对速度敏感、穿透雨雾能力强，但角分辨率低、点迹稀疏。端到端模型若仅依赖单一传感器，必然在特定场景（如夜间、逆光、雨雪）下出现感知盲区。因此，融合的本质是利用多源信息的冗余性与互补性，构建一个对场景变化更鲁棒的联合表示。
融合层级的选择直接决定了模型的架构复杂度与信息损失程度。数据级融合（早期融合）将原始像素与点云在输入层拼接，信息保留最完整但计算量巨大；目标级融合（后期融合）先独立感知再逻辑合并，计算高效但丢失了底层特征关联；特征级融合（中期融合）在神经网络中间层进行特征交互，是目前端到端模型的主流选择。特征级融合既保留了可学习的跨模态关联，又通过卷积或注意力机制控制了计算规模。
判断方法：选择融合层级的决策依据
在实际工程中，选择融合层级需要综合考虑以下四个维度：
- 传感器同步精度：若各传感器时间戳对齐误差超过50ms，数据级融合会产生严重错位，此时应优先考虑特征级或目标级融合。
- 算力预算：数据级融合在嵌入式平台（如Orin 254TOPS）上通常只能支持30Hz以下的处理频率，而特征级融合可通过共享Backbone降低峰值算力。
- 任务需求：对于需要精确速度估计的ACC（自适应巡航）场景，毫米波雷达的多普勒信息必须在特征级保留；对于需要精细边界的分割任务，摄像头纹理特征权重应更高。
- 标定可靠性：外参标定误差大于5cm时，建议采用目标级融合以容忍空间错位；若标定精度可达2cm以内，特征级融合的收益更明显。
案例拆解：特征级融合的工程实现
某L4级自动驾驶公司在其端到端模型中采用了特征级融合方案。初始方案为数据级融合，将RGB图像与点云体素化后直接拼接，但发现两个问题：一是点云稀疏区域（如50米外）的卷积特征被图像特征淹没；二是训练时显存占用高达32GB，无法在车规级GPU上部署。随后改为特征级融合：摄像头分支输出256通道的2D特征图，激光雷达分支通过VoxelNet输出稀疏的3D特征，两者通过可变形注意力机制在BEV空间进行交互。改进后，模型在夜间场景的mIoU提升了12%，显存占用降至18GB，推理延迟从85ms降至62ms。关键操作包括：将雷达点云投影到图像平面生成深度提示（Depth Hint），辅助摄像头特征提升深度感知；同时利用毫米波雷达的径向速度特征，对BEV特征图中的动态目标进行运动状态增强。
3.2 鸟瞰图（BEV）表示：统一空间与统一任务
核心原理：为什么BEV是端到端模型的“通用语言”
BEV表示将多传感器数据投影到以自车为中心的俯视网格中，每个网格单元编码该位置的语义类别、占用概率、速度或高度信息。这种表示的优势在于：第一，它天然与车辆的运动空间对齐，规划控制模块可以直接在BEV上搜索可行驶区域；第二，它消除了透视投影带来的尺度变化问题，使模型对远处目标的感知更稳定；第三，它统一了多传感器的输出空间——摄像头通过逆透视变换（IPM）或基于深度估计的投影（LSS），激光雷达通过体素化累加，毫米波雷达通过点迹栅格化，最终都汇聚到同一BEV坐标系中。
BEV的构建方法经历了三代演进。第一代基于IPM假设地面平坦，仅适用于近距离且无坡度场景；第二代LSS（Lift-Splat-Shoot）方法通过预测每个像素的深度分布，将图像特征“提升”到3D空间再“拍平”到BEV，显著提升了远距离精度；第三代基于Transformer的BEVFormer利用可变形注意力机制，直接在BEV查询向量与多视角图像特征之间建立稀疏连接，避免了LSS中稠密深度预测的计算开销。
操作流程：构建BEV表示的完整步骤
- 传感器标定与同步：完成相机内参、激光雷达外参、雷达外参的联合标定，确保所有传感器输出在同一时间戳下对齐。
- 特征提取：对每路摄像头图像使用共享权重的ResNet或Swin Transformer提取多尺度特征；对点云使用VoxelNet或PointPillars提取3D特征。
- 视图投影：对于LSS方法，为每个像素预测D个离散深度概率，生成形状为[H, W, D, C]的视锥特征，再通过外参矩阵投影到BEV网格；对于Transformer方法，初始化一组可学习的BEV查询向量，通过注意力机制从图像特征中采样。
- 时序融合：将上一帧的BEV特征通过自车运动补偿（旋转和平移）对齐到当前帧，与当前帧特征进行拼接或加权融合，增强对遮挡目标的记忆。
- 任务解码：在BEV特征图上接多个任务头，包括语义分割头（输出可行驶区域、车道线）、目标检测头（输出3D框中心、尺寸、朝向、速度）以及占用网格头（输出每个格子的占据概率）。
知识结构表：BEV表示的关键参数与权衡
| 参数项 | 典型值范围 | 对模型影响 | 工程建议 |
|---|---|---|---|
| BEV网格分辨率 | 0.1m ~ 0.5m | 分辨率越高，小目标检测越准，但计算量平方级增长 | 城区场景用0.2m，高速场景用0.5m |
| 感知范围 | 前后各50m~100m，左右各25m~50m | 范围越大，对远距离小目标越不敏感 | 根据最高车速决定：120km/h需至少100m前向范围 |
| 深度离散化数量 | D=64~128 | 深度估计精度直接影响投影质量 | D=80时性价比最高，超过100后收益递减 |
| 时序帧数 | 1~8帧 | 多帧融合提升动态目标速度估计，但增加延迟 | 端到端规划建议≤4帧，保证控制实时性 |
3.3 语义分割与目标检测在端到端模型中的角色
核心原理：从“感知结果”到“可学习中间表示”
在传统模块化架构中，语义分割和目标检测是最终输出，供下游规则或优化器使用。但在端到端模型中，这两者的角色发生了根本性转变：它们不再是“结果”，而是“中间监督信号”或“辅助任务”。端到端模型的主干网络通过多任务学习，同时预测语义分割图、目标检测框和最终轨迹。这种设计有三个好处：一是通过多任务正则化提升共享Backbone的特征质量；二是为模型提供可解释的中间表示，便于调试和故障分析；三是可以在训练初期利用感知标签进行预训练，缓解端到端训练数据不足的问题。
语义分割在端到端模型中主要提供“可行驶区域”和“车道边界”的稠密约束，其输出直接作为规划模块的代价地图（Cost Map）输入。目标检测则提供稀疏的“动态障碍物”信息，包括位置、尺寸、朝向和速度，这些信息用于生成轨迹预测的边界条件。值得注意的是，端到端模型中的检测头通常输出的是“不确定性感知”的表示，即每个目标不仅输出位置均值，还输出协方差矩阵，以便规划模块在优化时考虑感知不确定性。
判断方法：如何设计感知头与规划头的连接方式
感知头与规划头的连接方式决定了梯度如何从轨迹损失回传到感知特征。目前有三种主流范式：
- 硬连接：将语义分割图或检测框直接作为规则输入，不参与梯度回传。优点是稳定，缺点是感知错误无法通过规划损失修正。
- 软连接：将感知特征图（而非最终预测）输入规划模块，感知头与规划头联合训练。这是目前最常用的方式，梯度可以双向传播。
- 隐式连接：不显式定义感知任务，仅通过规划损失隐式学习感知特征。这种方式需要海量数据支撑，且难以调试。
对于大多数L2+或L3级系统，推荐采用软连接方式，并辅以辅助感知损失（如交叉熵损失或Smooth L1损失）进行多任务训练。辅助损失的权重通常设为0.1~0.3，避免感知任务主导训练方向。
案例拆解：感知辅助任务如何提升规划性能
某量产车型的端到端泊车系统采用了“BEV语义分割 + 目标检测 + 轨迹规划”的联合架构。初始版本仅使用规划损失训练，模型在简单车位（无立柱、无行人）表现良好，但在复杂地库（有立柱、有移动行人）中频繁出现碰撞风险。分析发现，模型虽然能规划出可行轨迹，但BEV特征中缺乏对静态障碍物边界的精确刻画。工程师在Backbone后增加了两个辅助头：一个输出二值化的占用网格（语义分割），另一个输出3D目标框（检测），并分别以0.2和0.15的权重加入总损失。重新训练后，模型在复杂地库场景的碰撞率从8.3%降至1.2%，且对行人的速度估计误差从0.8m/s降至0.3m/s。复盘经验表明：辅助感知任务不仅提供了正则化，更重要的是为规划模块提供了“显式的空间约束”，使模型在未见过的障碍物组合下也能保持安全。
3.4 传感器融合与BEV表示的常见工程陷阱
陷阱一：外参标定误差的累积效应
在融合系统中，摄像头与激光雷达的外参标定误差即使只有3cm，在50米外也会产生约0.3米的投影偏差。这个偏差在BEV网格中可能跨越2~3个网格单元，导致语义标签错位。解决方法是引入在线标定修正模块，利用BEV特征图中的边缘对齐程度作为损失函数，实时微调外参。
陷阱二：时间同步的“伪同步”问题
很多系统采用“最近时间戳匹配”策略，但不同传感器的帧率不同（摄像头30Hz，激光雷达10Hz，雷达20Hz），导致融合时使用的数据实际时间差可达50ms。在高速场景下，50ms对应车辆移动1.4米（100km/h），会造成严重的运动模糊。建议使用硬件同步信号（PPS或IEEE 1588）触发所有传感器同时采集，并在软件层使用线性插值或运动补偿。
陷阱三：BEV网格的“空洞”现象
激光雷达点云在远距离处稀疏，投影到BEV网格后会产生大量空单元。若直接将这些空单元填充为零，会误导模型认为该区域无障碍物。工程上通常采用“稀疏卷积”或“密度感知填充”——将每个网格内的点云数量作为额外通道输入，让网络学习置信度权重。
综上所述，感知与表示学习是端到端规划控制系统的“地基”。多传感器融合提供了信息冗余，BEV表示提供了统一的空间框架，而语义分割与目标检测作为辅助任务，为规划模块注入了结构化的先验知识。在实际工程中，需要根据传感器配置、算力约束和场景复杂度，灵活选择融合层级与BEV构建方法，并通过充分的消融实验验证每个设计决策的有效性。