4. 感知算法岗位面试实战
第 4 章 · 感知算法
感知算法岗位面试实战
高频问题 · 回答框架 · 公司侧重点
3 个问答卡片 + 1 个项目模板
🎯 感知算法是智能驾驶技术栈的核心，面试官重点考察：多传感器融合、BEV/Transformer 落地、模型部署与优化、数据闭环。本章围绕高频问题拆解回答框架，并给出可复用的项目表达模板。
📌 回答时注意：先讲清楚问题定义与约束，再讲方案选型与权衡，最后用数据指标闭环。
图 4-1 感知算法面试回答框架：问题定义 → 方案选型 → 权衡优化 → 数据闭环
请介绍一个你参与过的感知算法项目，重点说明多传感器融合方案。
回答框架
- 背景与目标：项目场景（高速/城区）、传感器配置、核心指标（mAP、召回率、延迟）。
- 融合方案：前融合/后融合/特征级融合的选择理由，时间同步与标定策略。
- 难点与解决：数据对齐、遮挡、恶劣天气等，说明具体优化手段。
- 结果与闭环：量化收益（如 recall +5%），以及数据回流机制。
简短示例回答
在城区 NOA 项目中，我负责激光雷达与视觉的后融合。针对时间同步误差，采用基于硬件触发+运动补偿的方案，将融合延迟控制在 30ms 内。通过引入注意力机制加权不同传感器特征，在遮挡场景下召回率提升 6.2%，最终在 Orin 平台上稳定运行。
可能追问
时间同步具体怎么做？
融合权重如何确定？
如何评估融合效果？
有没有考虑前融合？
避坑提醒
⚠️ 不要只讲“用了卡尔曼滤波”而不说为什么选它；避免夸大指标，面试官会追问测试集和场景分布。
BEV + Transformer 在感知中很火，你在项目中如何落地？遇到过哪些挑战？
回答框架
- 动机：传统方案痛点（遮挡、远距离、多相机融合难），BEV 统一空间表达的优势。
- 实现：BEV 特征提取（LSS / BEVFormer / 射线投影），Transformer 的注意力设计。
- 挑战：计算量、显存、部署延迟，以及数据标注成本。
- 优化：稀疏化、量化、剪枝、TensorRT 加速等具体手段。
简短示例回答
我们在高速场景落地 BEVFormer，用 6V 相机输入。主要挑战是 Orin 上延迟过高，通过将 backbone 替换为轻量级 RepVGG，并对注意力层做稀疏化，推理时间从 120ms 降至 45ms，mAP 仅下降 0.8%。同时利用时序融合提升远距离稳定性。
可能追问
BEV 特征对齐怎么做的？
稀疏化具体策略？
量化后精度损失多少？
如何做时序融合？
避坑提醒
⚠️ 不要只谈论文里的方法，一定要结合自己的部署经验；避免说“直接用了开源代码”，要体现调优过程。
感知模型部署到车端时，你如何做模型优化与加速？
回答框架
- 分析瓶颈：用 profiling 工具定位计算热点（卷积、注意力、后处理）。
- 优化手段：量化（PTQ/QAT）、剪枝、知识蒸馏、算子融合、TensorRT 自定义插件。
- 硬件适配：针对 Orin / 地平线 J5 等平台做特定优化。
- 效果验证：延迟、内存、精度 trade-off，以及实车稳定性测试。
简短示例回答
针对 Orin 平台，我对检测模型做了 INT8 量化，使用 QAT 保持精度，并利用 TensorRT 的算子融合将后处理耗时降低 40%。同时将部分卷积替换为深度可分离卷积，整体延迟从 80ms 降到 35ms，mAP 损失控制在 1% 以内，已通过 10 万公里实车验证。
可能追问
QAT 和 PTQ 怎么选？
量化敏感层怎么处理？
如何保证量化后稳定性？
有没有用稀疏化？
避坑提醒
⚠️ 不要只罗列优化技术，要说明选择依据和实际收益；避免忽略精度验证和实车测试环节。
项目案例模板 · 多传感器融合感知系统
真实项目
项目名称
城区 NOA 多传感器融合感知系统
业务背景
面向量产城区导航辅助驾驶，需在复杂路口、人车混流场景下实现稳定感知。
规模指标
- 传感器：1 颗激光雷达 + 6 颗摄像头 + 5 颗毫米波雷达
- 数据规模：100 万+ 帧标注数据，覆盖 20+ 城市
- 性能指标：mAP 68.5%，召回率 82%，端到端延迟 45ms
技术栈
- 感知：BEVFormer + PointPillars 后融合
- 部署：TensorRT + CUDA 自定义算子
- 平台：NVIDIA Orin，ROS2 中间件
核心难点
① 多传感器时间同步与空间对齐：激光雷达与相机帧率不同，运动畸变导致融合偏差。
② 遮挡与恶劣天气下的鲁棒性：雨雾场景下视觉退化，需动态调整融合权重。
③ 车端算力受限：BEV 模型计算量大，需在精度与延迟间取得平衡。
面试高频追问
时间同步具体方案？
融合权重如何动态调整？
BEV 模型如何加速？
如何评估恶劣天气性能？
数据闭环怎么做的？
可迁移回答话术
“在这个项目中，我主要负责多传感器融合模块。针对时间同步问题，我们采用硬件触发+运动补偿，将同步误差控制在 5ms 内；针对算力瓶颈，通过模型量化和算子融合，在 Orin 上实现 45ms 延迟。最终系统在 20 个城市完成路测，关键场景召回率提升 8%。这套方法论也可以迁移到其他感知任务中。”
⚡ 复习建议：先掌握回答框架图，再逐卡片模拟练习，最后用项目模板串联个人经历。