1. 课程导入

自动驾驶系统的能力上限，很大程度上由训练与验证数据决定。感知模型看到的每一帧图像、每一个点云、每一条标注，都会在参数空间中留下痕迹。如果数据本身存在质量缺陷或分布偏差，模型就会把缺陷当成规律学习，最终在真实道路上以误检、漏检、急刹或错误变道等形式暴露出来。本课程关注的不是“如何标注一张图”，而是如何用工程化方法度量、诊断并治理数据集的质量与偏差，使数据从“可用”走向“可信”。

学习目标：从数据消费者到数据质量工程师

完成本课程后，你应当能够独立完成以下工作：第一，建立数据集质量指标体系，覆盖完整性、一致性、准确性、时效性与多样性；第二，识别并量化数据偏差，包括长尾场景缺失、类别不平衡、采集地域与天气偏置、标注风格漂移；第三，设计数据清洗、重采样、增强与补采方案，并评估治理前后的模型收益；第四，搭建可复现的数据质量看板与回归测试流程，把数据问题纳入持续集成。简言之，目标是把“数据感觉不对”转化为“数据指标异常，根因在某维度，治理动作可验证”。

核心概念：质量、偏差与数据闭环

数据集质量通常从五个维度衡量：完整性指标注是否覆盖全部目标与区域；一致性指同一目标在不同帧、不同标注员之间是否稳定；准确性指标注框、类别、属性与真值是否吻合；时效性指数据是否反映当前传感器配置与交通环境；多样性指场景、天气、光照、地域、行为是否充分覆盖。偏差则是质量在统计分布上的表现，可分为选择偏差、标注偏差、采样偏差与评价偏差。数据闭环强调：采集、标注、训练、评测、回传、再采集形成循环，每一环都产生可度量的质量信号。

方法流程：从指标定义到治理验证

工程落地通常遵循六步流程。第一步，定义质量指标与阈值，例如标注框漏标率低于0.5%、类别分布熵高于某值、夜间场景占比不低于15%。第二步，建立数据切片，按天气、光照、地域、目标类别、距离区间等维度切分，便于定位偏差。第三步，运行自动化质检，包括框重叠异常、类别冲突、跟踪ID跳变、点云与图像对齐误差等。第四步，进行偏差诊断，用分布对比、覆盖率分析和长尾统计找出薄弱切片。第五步，执行治理动作，如补采、重标注、重采样或增强。第六步，用固定评测集做回归，确认治理有效且未引入新偏差。

# 数据切片与偏差诊断示例（伪代码）
slices = {
  "weather": ["sunny", "rain", "snow", "fog"],
  "light":   ["day", "night", "dawn_dusk"],
  "region":  ["urban", "highway", "rural"],
  "class":   ["car", "pedestrian", "cyclist", "truck"]
}

for dim, values in slices.items():
    dist = dataset.distribution(dim)
    for v in values:
        ratio = dist.get(v, 0)
        if ratio < MIN_RATIO[dim]:
            report.add_bias(dim, v, ratio, "under_represented")

# 输出：夜间行人切片占比 3.2%，低于阈值 10%
# 动作：触发夜间行人场景补采与重标注

案例场景：夜间行人漏检背后的数据偏差

某项目在城市道路测试中频繁出现夜间行人漏检。团队最初怀疑模型结构，但回归测试显示白天指标正常。进一步做数据切片后发现：训练集中夜间样本仅占8%，其中行人样本不足2%，且夜间行人多集中在有路灯的主干道，缺少无路灯、逆光、雨夜等子场景。标注方面，夜间行人框普遍偏小且存在漏标。治理动作包括：补采无路灯与雨夜行人场景、对夜间样本重标注并交叉复核、在训练中提高夜间行人切片权重。两轮迭代后，夜间行人召回率提升约11个百分点，误检未明显上升。这个案例说明，偏差诊断必须落到切片粒度，否则容易被总体指标掩盖。

常见误区与复盘要点

• 只看总体指标：总体mAP正常不代表各切片正常，长尾场景往往被平均掉。
• 把标注当唯一质量来源：传感器标定、时间同步、数据落盘完整性同样影响质量。
• 治理后不做回归：补采或重采样可能引入新偏置，必须用固定评测集验证。
• 缺少版本管理：数据集、标注规范、质检规则都应有版本，否则问题无法复现。
• 指标与业务脱节：质量指标应关联到具体功能与安全场景，而非孤立统计。