4、模块化方案之感知层：目标检测、语义分割、传感器融合（相机、激光雷达、毫米波雷达）的关键技术与方法
模块化自动驾驶方案将完整驾驶任务拆解为感知、决策、规划、控制等独立模块，其中感知层是数据入口与信息中枢，其输出质量直接决定后续模块的决策上限。感知层并非单一算法的堆叠，而是围绕“目标检测”“语义分割”“传感器融合”三大技术支柱构建的多传感器、多任务、多尺度信息处理体系。本章聚焦这三项核心技术的工程实现路径、关键方法、融合策略与实战注意事项，帮助学习者建立从传感器原始数据到结构化环境理解的完整认知框架。
4.1 目标检测：从2D框到3D空间定位
核心原理
目标检测的任务是回答“场景中有什么物体、在哪里、有多大”。在自动驾驶场景中，目标检测分为2D检测与3D检测两个层次。2D检测在图像平面输出矩形包围框（Bounding Box）与类别标签，主要服务于视觉感知的初步筛选；3D检测则在三维空间输出目标的中心坐标（x, y, z）、尺寸（长、宽、高）与朝向角（Yaw），是后续轨迹预测与决策规划的直接输入。当前主流方法分为两类：基于图像的单目3D检测（如FCOS3D、SMOKE）与基于点云/多模态的3D检测（如PointPillars、CenterPoint、TransFusion）。
判断方法与操作流程
- 数据准备：对相机图像进行畸变校正与裁剪，对激光雷达点云进行地面滤除与体素化（Voxelization），对毫米波雷达点迹进行聚类与目标凝聚。
- 特征提取：图像使用ResNet、Swin Transformer等骨干网络提取多尺度特征；点云使用PointNet++、VoxelNet或稀疏卷积提取局部几何特征。
- 目标解码：通过Anchor-based或Anchor-free方式回归目标框参数，使用NMS（非极大值抑制）去除冗余框，输出最终检测列表。
- 时序关联：利用卡尔曼滤波或匈牙利匹配将当前帧检测结果与历史轨迹关联，形成稳定的目标ID。
案例拆解：城市路口多目标检测
某L4级Robotaxi在城市复杂路口运行，传感器配置为：前视相机×6、激光雷达×1（128线）、毫米波雷达×5。初始现象：在逆光场景下，相机检测漏检率高达15%，导致车辆对横穿行人反应延迟。分析过程：通过逐帧回放发现，逆光造成图像过曝，行人轮廓与背景对比度极低；同时激光雷达点云在远距离（>50m）处过于稀疏，无法独立完成检测。实际操作：将相机图像进行局部直方图均衡化预处理，并引入基于注意力机制的多尺度特征融合模块；同时将激光雷达点云投影到图像平面生成深度稀疏图，作为辅助特征输入检测网络。结果对比：漏检率从15%降至3.2%，检测延迟从85ms降至62ms。风险与代价：增加预处理环节消耗额外算力约8%，需在嵌入式平台（如Orin）上重新进行算子优化与INT8量化。
4.2 语义分割：像素级场景理解
核心原理
语义分割为每个像素（或每个点云点）赋予语义标签，如道路、车道线、行人、车辆、建筑、天空等。与目标检测相比，语义分割提供更精细的场景结构信息，是可行驶区域检测、自由空间估计与车道线识别的基础。图像语义分割常用DeepLabV3+、SegFormer等模型；点云语义分割常用PointNet++、RandLA-Net、RangeNet++等模型。在工程实践中，通常将图像分割结果与点云分割结果进行投影融合，以弥补单一传感器的不足。
判断方法与操作流程
- 标签体系设计：根据自动驾驶功能需求定义类别，一般分为动态目标（人、车、骑行者）、静态设施（车道线、路沿、交通标志）、可行驶区域（道路、人行横道）与背景（天空、建筑）。
- 模型训练：使用带标注的逐像素数据集（如Cityscapes、nuScenes）进行训练，损失函数常用交叉熵+边界惩罚项（如OhemCELoss）。
- 后处理：使用条件随机场（CRF）或空洞卷积金字塔池化（ASPP）优化边界；对分割结果进行连通域分析，剔除孤立噪点。
- 多传感器投影：将激光雷达点云投影到图像分割结果上，对每个点云点赋予语义标签，生成3D语义点云地图。
实战场景：可行驶区域检测
在高速公路场景中，可行驶区域检测要求高精度、低延迟。某Tier-1供应商在AEB（自动紧急制动）系统中使用语义分割辅助判断可行驶边界。初始目标：在100ms内完成前方道路区域分割，且误检率低于0.5%。关键输入：前视相机1280×720分辨率图像，分割模型为轻量级DeepLabV3+（MobileNetV3骨干）。分析过程：发现单纯依赖图像分割在雨天反光场景下会将积水区域误判为可行驶区域。实际操作：引入毫米波雷达的反射强度信息，对分割结果进行置信度修正——雷达反射强度异常低的区域降低可行驶置信度。结果：误检率从1.2%降至0.4%，满足功能安全要求。复盘经验：语义分割模型需要针对典型失效场景（积水、阴影、隧道口）进行专项数据增强。
4.3 传感器融合：相机、激光雷达与毫米波雷达的协同
核心原理
单一传感器无法满足自动驾驶全场景感知需求：相机纹理丰富但缺乏深度且受光照影响；激光雷达测距精准但点云稀疏且成本高；毫米波雷达全天候工作但角度分辨率低。传感器融合的核心目标是通过多源信息互补，提升感知的准确性、鲁棒性与冗余性。融合策略分为三个层级：数据级融合（Early Fusion）、特征级融合（Middle Fusion）与目标级融合（Late Fusion）。当前行业趋势是BEV（Bird's Eye View，鸟瞰视角）特征融合，将多传感器特征统一映射到俯视平面，便于后续规划模块直接使用。
融合方法对比
| 融合层级 | 输入数据 | 代表方法 | 优势 | 劣势 |
|---|---|---|---|---|
| 数据级融合 | 原始像素+原始点云 | 点云投影到图像、像素级拼接 | 信息损失最小 | 数据量巨大、标定误差敏感 |
| 特征级融合 | 多模态特征图 | BEVFormer、TransFusion、注意力融合 | 鲁棒性好、支持端到端训练 | 计算量大、需统一特征空间 |
| 目标级融合 | 各传感器独立检测结果 | 匈牙利匹配、卡尔曼滤波、D-S证据理论 | 算力消耗低、模块解耦 | 信息损失大、难以处理漏检 |
操作流程与实战案例
以某量产L2+级辅助驾驶系统为例，传感器配置为：前视相机×1、前向毫米波雷达×1、角雷达×4。系统采用目标级融合策略。初始现象：在隧道出入口场景，毫米波雷达因多径效应产生虚假目标，导致误触发AEB。分析过程：通过数据日志发现，虚假目标在雷达点迹中表现为速度跳变（从60km/h瞬间变为-5km/h），且目标位置与车道线几何关系矛盾。实际操作：在融合模块中增加“雷达目标-视觉检测”一致性校验——若雷达目标在图像中无对应视觉检测框，且目标速度变化率超过阈值（>15m/s²），则标记为低置信度目标并延迟输出。结果：误触发率降低90%，同时保持对真实紧急目标的响应延迟<200ms。复盘经验：目标级融合需要设计精细的“信任仲裁”机制，不能简单采用“或”逻辑，而应根据场景动态调整各传感器权重。
常见误区与总结复盘
- 误区一：传感器越多越好。实际上，传感器数量增加会带来标定复杂度、算力消耗与故障概率的同步上升。应基于功能需求（如AEB、TJA、NOA）反推最小传感器配置。
- 误区二：融合前不验证单传感器性能。如果相机检测本身漏检严重，融合后依然会漏检。必须先确保每个传感器在各自适用场景下达到基础性能指标。
- 误区三：忽视时间同步。相机帧率30Hz、激光雷达10Hz、毫米波雷达20Hz，若不做时间对齐，融合结果会出现“空间对但时间错”的假阳性目标。
- 误区四：只关注算法不关注标定。外参标定误差超过3cm或0.2°，融合精度会急剧下降。建议每行驶5000km或发生碰撞后重新进行在线标定校验。
总结而言，模块化感知层的构建需要遵循“单传感器精耕细作、多传感器协同互补、融合策略分层递进”的原则。目标检测提供目标级语义，语义分割提供像素级场景结构，传感器融合将多源信息统一为结构化环境模型。三者相互支撑、缺一不可。在实际工程中，还需结合算力平台（如Orin、征程5）的推理能力，对模型进行裁剪、量化与算子优化，才能实现从算法原型到量产部署的跨越。