4. 数据偏差类型
在自动驾驶数据闭环中，偏差并不是单一来源的“脏数据”问题，而是采集、筛选、标注、传感器配置、场景分布、地理覆盖与时间演化共同作用的结果。理解偏差类型，是后续做偏差度量、补偿与质量门禁的前提。本章把常见偏差归纳为六类，并给出成因、典型表现与排查方向。
一、核心原理：偏差是“分布错位”的不同切面
自动驾驶模型学习的是数据分布，而真实世界是一个持续变化的开放分布。当训练/验证数据的分布与目标运行域（ODD）不一致时，就产生偏差。六类偏差可以理解为同一问题的不同切面：选择偏差关注“哪些数据被留下”，标注偏差关注“标签如何被赋予”，传感器偏差关注“感知通道如何采样”，场景偏差关注“驾驶情境是否均衡”，地理偏差关注“空间覆盖是否偏斜”，时间偏差关注“时间维度是否漂移”。
偏差分析的核心不是追求“无偏”，而是识别偏差方向、量级与影响面，判断其是否落在可接受阈值内，并决定是补采、重标、加权还是重新划分数据集。
二、六类偏差的分类与成因
| 偏差类型 | 主要成因 | 典型表现 | 排查线索 |
|---|---|---|---|
| 选择偏差 | 按规则筛选片段、剔除“难例”、只保留成功接管数据 | 模型在长尾场景失效，指标虚高 | 筛选日志、丢弃率、难例占比 |
| 标注偏差 | 标注规范模糊、标注员主观差异、质检抽样不足 | 同类目标框不一致、漏标/误标集中 | 一致性Kappa、复核驳回率 |
| 传感器偏差 | 相机曝光/畸变、激光雷达反射率、标定误差、安装角度 | 某传感器目标召回低、融合结果偏移 | 标定残差、单传感器对比 |
| 场景偏差 | 采集路线单一、天气/光照/交通密度覆盖不足 | 雨天、夜间、拥堵场景表现差 | 场景标签分布、切片指标 |
| 地理偏差 | 采集城市集中、道路类型单一、区域政策差异 | 跨城市泛化差、路口结构不适应 | 城市/道路类型分布、地图匹配 |
| 时间偏差 | 采集时段集中、季节变化、道路施工与规则更新 | 模型随时间衰减、旧数据主导 | 时间戳分布、按月/季度切片 |
三、方法流程：从偏差识别到处置
建议按“定义ODD → 建立切片维度 → 统计分布 → 定位偏差 → 处置验证”的流程推进。切片维度应覆盖场景、地理、时间、传感器与标注质量，形成可复用的偏差看板。
- 定义ODD与目标分布：明确运行城市、道路类型、天气、时段与交通参与者比例。
- 建立切片标签：为每个片段打上场景、地理、时间、传感器状态与标注质量标签。
- 统计分布差异：对比实际数据分布与目标分布，计算占比差、KL散度或加权覆盖率。
- 定位偏差根因：结合采集日志、标注日志与传感器诊断，判断偏差来自哪一环。
- 处置与验证：补采、重标、重加权或重新划分，并在验证集上复测切片指标。
# 偏差切片统计示例（伪代码）
slices = ["scene", "city", "hour", "sensor", "label_quality"]
for s in slices:
dist = dataset.groupby(s).size() / len(dataset)
gap = target_dist[s] - dist
report[s] = {"dist": dist, "gap": gap, "kl": kl_divergence(target_dist[s], dist)}
print(report)
四、案例/场景：一个典型的复合偏差
某项目在城市A采集了三个月数据，其中夜间与雨天占比不足5%，且标注规范对“被遮挡行人”定义模糊。上线后发现：夜间雨天漏检率显著升高，跨城市测试时路口误判增加。复盘发现这是场景偏差+地理偏差+标注偏差的复合结果：采集路线集中在城市A主干道，夜间雨天样本稀少；标注员对遮挡目标理解不一致，导致模型学到“遮挡即忽略”的错误先验。处置方式是补采夜间雨天与城市B数据、修订标注规范并做一致性复核，再按切片重新评估。
复合偏差很常见。排查时应先做“偏差归因矩阵”，把指标下降与切片维度交叉，避免只归因于单一环节。
五、误区与复盘
- 误区一：只看总体指标。总体mAP高不代表切片无偏，必须看长尾切片。
- 误区二：把偏差等同于噪声。偏差是系统性分布错位，噪声是随机误差，处置手段不同。
- 误区三：只补数据不查标注。标注偏差不修复，补采只会放大错误先验。
- 误区四：忽略时间漂移。道路施工、规则更新会让旧数据失效，需定期做时间切片复测。
偏差处置后必须回归验证：确认目标切片指标提升，且未引入新的切片退化。否则可能只是把偏差从一处转移到另一处。