4. 多传感器融合面试:Camera+LiDAR+Radar 融合策略、前融合/后融合/特征融合
面试问答卡片
🎯 面试问题 1
“请详细阐述 Camera+LiDAR+Radar 三种融合策略(前融合、后融合、特征融合)的核心区别、优缺点及典型应用场景。”
面试官考察点:是否具备融合层级系统性认知,能否从信息损失、算力开销、对齐难度、工程落地等维度客观比较,是否有实际项目经验支撑。
回答框架:
- 定义分层:前融合(原始数据层拼接,如点云投影到图像)、特征融合(各模态提取特征后融合,如BEV空间)、后融合(独立感知后做目标级融合)。
- 对比要点:信息完整性(前>特>后),算力需求(前>特>后),对齐难度(前高>特中>后低),维护性(后>特>前)。
- 场景匹配:前融合用于近距离高精度检测(如泊车),后融合用于高速巡航(算力受限、可靠性优先),特征融合用于BEV感知主流方案。
简短示例回答:“前融合在原始层对齐,信息最完整但算力和时间同步要求极高,适合低速复杂场景;后融合各传感器独立输出目标再关联,鲁棒性好但会丢失未检测到的低级特征;特征融合折中,在BEV空间做特征交互是当前行业主流趋势(如BEVFusion)。”
可能追问:① 前融合中如何保证点云与图像精确像素级对齐?② 后融合中目标关联算法(如匈牙利匹配)的局限性?③ 特征融合如何解决模态缺失时的退化问题?
🎯 面试问题 2
“在一个实际量产项目中,你会如何选择前融合还是后融合?请结合具体场景说明决策过程。”
面试官考察点:是否具备工程化思维,能否根据算力平台、传感器配置、功能安全等级做出合理权衡,并有实际案例支撑。
回答框架:
- 场景分析:高速公路(远距、高动态) vs 城区复杂路口(近距、遮挡多) vs 泊车(低速、高精度)。
- 算力约束:例如Orin X平台算力254 TOPS,前融合需留出足够GPU资源给感知模型。
- 安全冗余:后融合可独立工作,单传感器降级时不丢失整体感知,适合ASIL-B要求。
- 最终方案:如“城区场景采用前融合检测行人/自行车,高速场景切换为后融合目标跟踪,中间用特征融合做统一BEV表示”。
简短示例回答:“以我参与的L2+项目为例,我们采用混合方案:前融合用于30m内行人/交通灯检测(利用点云+RGB深度对齐),后融合用于远距离车辆跟踪(各传感器独立输出,IOU关联)。切换逻辑基于车速和场景复杂度,总算力占用控制在60%以内。”
可能追问:① 切换时融合权重如何平滑过渡?② 后融合中雷达与视觉目标不一致时怎么仲裁?③ 空间对齐误差对前融合的影响有多大?
🎯 面试问题 3
“多传感器融合中时间同步和空间对齐如何实现?某个传感器突然失效时,系统如何降级?”
面试官考察点:工程实现细节——硬同步/软同步方案、外参标定、动态校准,以及失效降级策略(Fail-Operational vs Fail-Safe)。
回答框架:
- 时间同步:硬件触发(PPS+IEEE 1588)实现微秒级同步;软件方案通过UTC时间戳+插值对齐。
- 空间对齐:离线标定(LiDAR↔Camera 标定板)、在线自标定(利用语义特征优化外参)、动态补偿(车辆颠簸时的姿态补偿)。
- 失效降级:定义传感器健康状态,Camer/LiDAR/Radar任意单目失效时,系统降至对应功能级别(如城市NOA降为ACC+LKA),提前预设降级策略。
简短示例回答:“我们采用硬件同步方案:所有传感器通过Trigger Box接收PPS和GPIO信号,标定间隔3个月自动校验一次。当检测到LiDAR回波异常时,系统在1秒内自动切换至Camera+Radar后融合模式,并显示‘传感器限能’提示,同时降低车速并通知驾驶员接管。”
可能追问:① 外参标定误差容忍多少?② 时间戳偏差超过20ms会带来什么影响?③ 降级后如何恢复?Fault-Tree Analysis?
• 融合层级 = 信息完整度 vs 工程代价的权衡
• 回答时始终扣住“场景 → 约束 → 选择”的逻辑链
• 主动提及“时间同步精度 < 50ms、外参误差 < 1cm”等量化指标,证明有实战经验