4. 数据清洗与预处理面试实战
第 4 章 · 数据清洗与预处理
清洗规则 · 去噪方法 · 同步对齐 · 公司侧重点
自动驾驶数据工程师面试实战 · 结构化问答 + 项目案例
📌 本章核心：数据清洗与预处理是自动驾驶数据闭环的“第一公里”。面试官会重点考察你对清洗规则设计、去噪方法选型、多传感器同步对齐的实战理解，以及不同公司（主机厂 / Tier1 / 自动驾驶公司）的侧重点差异。以下通过 3 个高频问答 + 1 个真实项目模板，帮你建立结构化应答框架。
请描述你在自动驾驶数据清洗中常用的清洗规则，以及如何验证规则的有效性？
回答框架
- 规则分类：完整性（缺失率）、合法性（范围/格式）、一致性（多源交叉）、时效性（时间戳漂移）。
- 阈值设定：基于业务容忍度与统计分布（如3σ、分位数），结合场景动态调整。
- 验证指标：清洗前后数据量变化、异常检出率、下游模型指标提升（如mAP）。
- 迭代闭环：人工抽检 + 自动化监控，规则版本化管理。
简短示例回答
我通常将规则分为完整性、合法性、一致性和时效性四类。例如对激光雷达点云，设定反射强度阈值和距离范围过滤噪点；对相机图像，检查曝光异常和模糊度。验证时对比清洗前后下游检测模型的mAP变化，并人工抽检badcase，持续迭代规则阈值。
可能追问
如何处理规则冲突？
阈值如何自适应调整？
清洗规则如何版本管理？
⚠️ 避坑提醒：不要只罗列规则名称，要强调“规则来源于业务场景和数据分析”，并给出量化验证结果，避免空谈。
在自动驾驶多传感器数据中，你用过哪些去噪方法？如何选择？
回答框架
- 噪声类型：高斯噪声、脉冲噪声、运动模糊、点云离群点、多径噪声。
- 方法匹配：滤波（均值/中值/高斯）、统计（DBSCAN、半径滤波）、深度学习（去噪自编码器）。
- 效果评估：PSNR/SSIM（图像）、点云保留率、下游任务精度。
- 场景权衡：实时性要求高选滤波，离线处理可选复杂模型。
简短示例回答
针对激光雷达点云，我常用统计滤波去除离群点，结合半径滤波保留主体结构；图像则用中值滤波处理脉冲噪声。选型时考虑实时性：车载端优先轻量滤波，离线标注数据可用深度学习去噪。最终通过下游检测精度和人工评估来验证。
可能追问
DBSCAN参数如何调优？
深度学习去噪的实时性？
去噪过度导致特征丢失？
⚠️ 避坑提醒：避免只提方法名称，要说明“为什么选它”以及“如何评估去噪效果”，体现工程思维。
多传感器数据同步对齐有哪些难点？你是如何解决的？
回答框架
- 时间对齐：硬件触发同步（PPS/GPS）、软件时间戳插值、动态时间规整。
- 空间对齐：外参标定（相机-激光雷达）、在线标定补偿、运动畸变校正。
- 精度验证：重投影误差、对齐后融合感知指标。
- 异常处理：丢帧补偿、时间戳跳变检测。
简短示例回答
时间同步上，我们采用PPS硬件触发加软件插值，将不同传感器数据对齐到统一时间轴；空间对齐通过离线标定获得外参，并在线补偿车辆运动畸变。验证时计算重投影误差，确保融合感知的准确性。遇到丢帧时，用前一帧运动估计进行补偿。
可能追问
时间戳不同步如何排查？
在线标定怎么实现？
运动畸变校正方法？
⚠️ 避坑提醒：不要只讲理论，要结合具体传感器（如相机+激光雷达）说明同步方案和精度指标。
真实项目模板：多传感器数据清洗与对齐平台
项目名称
自动驾驶多传感器数据清洗与对齐平台
业务背景
L4级自动驾驶路测数据回传，需清洗异常帧并完成多传感器时空对齐，供感知模型训练。
规模指标
- 日均处理 5TB 原始数据
- 传感器：6相机 + 3激光雷达 + 5毫米波
- 清洗后有效数据占比 78%
技术栈
- Python / Spark / OpenCV / PCL
- ROS 时间同步 / 标定工具
- Airflow 调度 + 数据版本管理
核心难点
- 时间同步精度：多传感器时间戳偏差导致融合错位，需硬件触发+软件插值。
- 动态去噪：不同场景（隧道、雨天）噪声分布差异大，规则需自适应。
- 规模化处理：海量数据下清洗与对齐的吞吐量优化。
面试高频追问
时间同步精度如何量化？
去噪规则如何自适应场景？
数据清洗流水线如何调度？
清洗后数据如何评估质量？
可迁移回答话术：“在这个项目中，我负责设计清洗规则和同步对齐方案。针对时间同步，我们采用PPS触发加线性插值，将时间误差控制在1ms以内；去噪方面，结合统计滤波和场景自适应阈值，使有效数据占比提升至78%。整个流水线通过Airflow调度，支持每日5TB数据的自动化处理，为感知模型提供了高质量训练集。”
⚡ 第 4 章 · 数据清洗与预处理 · 面试实战题库 · 结构化复习资料