4. 数据清洗与预处理面试题
第 4 章 · 数据清洗与预处理
去重 · 脱敏 · 标注前筛选 · 长尾识别 · 质量校验
自动驾驶数据闭环工程师面试实战题库
🔍 本章核心： 数据清洗与预处理是数据闭环的“守门员”。面试官重点考察你能否在标注前高效过滤脏数据、识别长尾场景、保障脱敏合规，并建立可量化的质量校验体系。以下 3 个高频问答 + 1 个真实项目模板，帮你系统化应对。
在自动驾驶数据闭环中，你如何设计一套高效的去重与脱敏流程？
🎯 面试官考察点
- 对数据去重策略（精确/模糊/时序）的理解深度
- 脱敏合规意识（GDPR、人脸/车牌/地理信息）
- 工程落地能力：如何平衡效率与隐私
🧩 回答框架
- 分层去重：先基于哈希（MD5/SimHash）做精确去重，再用感知特征（如CLIP embedding）做相似帧去重，最后按时间窗口合并连续帧。
- 脱敏前置：在数据入库前完成人脸、车牌检测与模糊化，地理坐标做偏移或网格化处理。
- 策略可配置：去重阈值、脱敏强度按场景（高速/城区）动态调整，并记录审计日志。
💬 简短示例回答
我采用“哈希+特征”两级去重：先MD5过滤完全重复，再用感知哈希和embedding相似度去除近重复帧。脱敏在入库前完成，人脸车牌用YOLO检测后高斯模糊，GPS坐标做随机偏移。所有策略可配置，并记录处理日志供审计。
🔁 可能追问
- SimHash 和 MD5 去重的适用场景有什么区别？
- 脱敏后如何验证没有遗漏？有没有自动化检测手段？
- 去重率过高会不会导致长尾数据被误删？如何避免？
⚠️ 避坑提醒
不要只提“用哈希去重”就结束，面试官想听的是分层策略和对长尾数据的影响。脱敏部分务必强调合规和可审计，避免只说“模糊一下”。
标注前筛选和长尾数据识别，你通常用什么方法和指标？
🎯 面试官考察点
- 对标注成本与数据价值的权衡能力
- 长尾场景的发现与量化方法
- 是否具备数据驱动思维，而非凭感觉筛选
🧩 回答框架
- 标注前筛选：基于图像质量（模糊、过曝、遮挡）和模型置信度（低置信样本优先）过滤无效数据。
- 长尾识别：用聚类（如DBSCAN）对场景embedding分组，统计稀有簇；结合目标检测频率，找出低频类别和罕见组合。
- 量化指标：定义“长尾分数” = 场景频率倒数 × 模型不确定性，排序后优先送标。
💬 简短示例回答
标注前我会过滤模糊、过曝和严重遮挡帧，并优先保留模型低置信样本。长尾识别用DBSCAN对场景embedding聚类，统计稀有簇，再结合目标类别频率计算长尾分数。分数高的数据优先送标，有效提升标注ROI。
🔁 可能追问
- 长尾分数具体怎么计算？权重如何确定？
- 聚类后如何判断哪些簇是“长尾”？有没有阈值？
- 如果长尾数据量太少，模型还是学不好，怎么办？
⚠️ 避坑提醒
避免只说“用聚类找长尾”，要给出可量化的分数或指标。同时强调标注前筛选是为了降本增效，而不是简单丢弃数据。
如何建立数据质量校验体系？你会关注哪些核心指标？
🎯 面试官考察点
- 质量校验的系统化思维
- 对数据闭环中“质量反馈”的理解
- 指标定义与自动化能力
🧩 回答框架
- 完整性：检查传感器数据是否缺失、时间戳是否对齐、标注框是否越界。
- 一致性：多传感器（LiDAR/相机/Radar）目标匹配度、标注类别与属性一致性。
- 准确性：抽检标注质量，计算mAP或IoU，并跟踪标注员一致性（Kappa系数）。
- 闭环反馈：将质量指标回传至数据采集和标注环节，驱动策略迭代。
💬 简短示例回答
我建立三级校验：完整性检查传感器缺失和时间戳对齐；一致性校验多传感器目标匹配和标注属性；准确性通过抽检计算mAP和标注员Kappa系数。所有指标自动化统计并回传，驱动采集和标注策略优化。
🔁 可能追问
- Kappa系数低于多少你会认为标注质量不合格？
- 多传感器一致性校验具体怎么做？时间同步误差怎么处理？
- 质量校验发现的问题，如何闭环到数据采集端？
⚠️ 避坑提醒
不要只罗列指标，要强调闭环反馈——质量校验不是终点，而是驱动数据迭代的起点。同时给出具体阈值或方法，体现工程落地能力。
真实项目模板：某L4自动驾驶公司数据清洗与长尾挖掘项目
项目名称
城市NOA数据闭环清洗与长尾场景挖掘
业务背景
路测数据量激增，标注成本高，长尾场景覆盖不足，模型在雨天/夜间表现下降
规模指标
- 日均处理 50万帧图像 + 20万帧点云
- 去重率 35%，标注成本降低 28%
- 长尾场景召回率提升 42%
技术栈
- Python, Spark, OpenCV, PyTorch
- SimHash, DBSCAN, CLIP embedding
- Airflow, Prometheus, Grafana
🧗 核心难点
- 去重与长尾的平衡：过度去重会丢失稀有场景，需要动态调整相似度阈值。
- 脱敏效率：人脸/车牌检测在大量数据下成为瓶颈，通过模型量化和批处理优化。
- 长尾定义模糊：与感知团队共同定义“长尾分数”，融合频率、不确定性和场景标签。
❓ 面试高频追问
- 去重率35%是怎么统计的？有没有误删长尾数据？如何验证？
- 长尾分数中的权重如何确定？有没有做消融实验？
- 脱敏后的数据如何保证不影响模型训练效果？
- 整个流水线的延迟是多少？如何保证实时性？
💬 可迁移回答话术
“在这个项目中，我负责数据清洗与长尾挖掘模块。我们通过SimHash和CLIP embedding两级去重，将冗余数据降低35%，同时用DBSCAN聚类和长尾分数排序，把稀有场景的标注优先级提升。脱敏环节采用YOLO检测加高斯模糊，并做了模型量化，处理速度提升3倍。最终标注成本降低28%，长尾场景召回率提升42%。这套方法论可以复用到任何需要数据闭环的感知项目。”