3. 数据质量评估指标与清洗目标定义
在开始任何清洗动作之前,必须先回答两个问题:当前数据到底有多差,以及清洗到什么程度才算够用。前者靠评估指标量化,后者靠清洗目标与容忍度约束。如果跳过这一步直接删点、插值或平滑,往往会出现"越洗越偏"的情况——数据看起来整齐了,但定位精度反而下降,甚至把真实的机动轨迹当成异常抹掉。本节围绕定位精度指标、数据完整性、一致性度量三条主线展开,并给出把指标转化为清洗目标与容忍度的具体做法。
一、定位精度指标:CEP 与 RMS
水下定位的输出本质是一串带时间戳的位置估计,每个估计点都带有误差。衡量这批误差最常用的两个统计量是 RMS 与 CEP,它们回答的问题不同,不能互相替代。
RMS(均方根误差)衡量误差的整体能量水平,对大幅值异常非常敏感。设第 i 个定位点与参考真值(或高精度基准)的水平偏差为 di,则水平 RMS 为:
RMS_h = sqrt( (1/N) * Σ d_i² )
其中 d_i = sqrt( (x_i - x_ref,i)² + (y_i - y_ref,i)² )
由于误差被平方,一个 30 m 的野值对 RMS 的贡献相当于九个 10 m 误差点。因此 RMS 特别适合用来暴露未被清除的粗差:清洗前后 RMS 若没有明显下降,说明大偏差点仍然存在。
CEP(圆概率误差)表示以真实位置为圆心、包含 50% 定位点的圆半径,反映"典型误差"而非"最坏误差"。工程上常用近似式 CEP ≈ 0.589·(σx + σy)(σx、σy 为两轴标准差,适用于近圆分布),或直接对偏差半径排序取中位数。CEP 对少量野值不敏感,适合描述数据主体质量。
两者配合使用才有诊断价值:CEP 小而 RMS 大,说明大部分点很好、但存在少量大粗差,应重点做野值剔除;CEP 与 RMS 同时偏大,说明系统性偏差或整体噪声水平高,需要检查声速剖面、时钟同步或坐标基准,而不是简单删点。下表给出一个教学示例(数据为合理假设,非实测):
| 阶段 | 水平 RMS (m) | CEP50 (m) | 诊断 |
|---|---|---|---|
| 原始数据 | 8.6 | 2.4 | 主体尚可,存在粗差 |
| 仅剔除野值 | 3.1 | 2.2 | RMS 大幅下降,CEP 基本不变 |
| 野值+系统偏差改正 | 1.9 | 1.5 | 两者同步改善 |
二、数据完整性
完整性描述"该有的数据有没有、够不够"。对水下定位而言,至少要从三个层面度量:
- 时间覆盖率:有效定位点数 ÷ 任务时段内应有定位点数。例如按 1 Hz 采样、任务 2 小时,应有 7200 点,实际有效 6480 点,覆盖率 90%。
- 连续缺失长度:覆盖率相同但缺失分布不同,影响差别很大。零散丢点可由插值弥补,而连续 60 s 以上的中断往往对应声学链路失锁,插值结果不可信,应标记为"不可恢复段"。
- 字段完备率:每个定位点是否同时具备位置、时间戳、声速、斜距、质量因子等字段。缺少质量因子的点无法参与后续加权,属于结构性缺失。
完整性指标决定了清洗的"下限":如果覆盖率低于任务要求,再精细的清洗也无法补出可信轨迹,此时应反馈到采集环节而非一味在数据端补救。
三、一致性度量
一致性检查不依赖外部真值,仅利用数据自身的物理与几何约束,是水下定位清洗中最实用的一类指标。常用三类:
运动学一致性:由相邻点位移与时间差计算速度 v = Δp/Δt,与载体实际最大航速比较。若某段推算速度超过 AUV 设计航速(如 2 m/s)的 1.5 倍,则该点高度可疑。同理可检查加速度与航向变化率。
几何一致性:检查定位解算的几何精度因子(HDOP/PDOP)与斜距残差。当应答器几何构型退化时,HDOP 会显著增大,此时定位点即使数值平滑也不可信,应结合质量因子降权或剔除。
跨源一致性:若同时具备 USBL 与 DVL 航位推算、或深度计与压力传感器数据,可比较两条轨迹的偏差序列。偏差突变点往往对应 USBL 跳周或时延错误。
一致性度量通常以"异常点比例"和"最大连续异常段长度"两个数呈现,前者反映污染程度,后者反映污染的结构性。
四、从指标到清洗目标:按任务需求定容忍度
指标本身没有"好"与"坏"的绝对标准,必须绑定任务。同一批数据,用于 AUV 长基线组合导航时可能要求 CEP50 ≤ 1 m,而用于大范围海底地形粗查时 CEP50 ≤ 5 m 即可接受。定义清洗目标时建议按以下顺序落地:
- 明确任务的精度底线:由下游用途反推,例如成图比例尺、避碰安全距离、跟踪控制精度,得到允许的最大水平误差。
- 把底线翻译成指标阈值:将最大允许误差折算为 RMS 与 CEP 上限,并留出约 20% 余量,避免清洗后刚好卡在边界。
- 设定完整性与一致性约束:给出覆盖率下限、最大连续缺失时长、异常点比例上限,作为"不可突破"的硬约束。
- 规定容忍度与停止条件:明确单点判异的统计门槛(如 3σ 或速度超限 1.5 倍)、迭代停止条件(指标达标或边际改善小于 5%),以及红线(不得删除真实机动段、不得对超长中断强行插值)。
五、清洗效果评价标准
清洗完成后必须复评,且评价要同时看"改善"与"代价"两个方向。改善侧看 RMS、CEP 是否下降、覆盖率是否提升、异常点比例是否降到阈值内;代价侧看有效点损失率(被剔除点数 ÷ 原始点数,一般不宜超过 10%~15%)、轨迹连续性是否被破坏、真实机动特征是否保留。一个常见的失败模式是:RMS 从 8.6 m 降到 1.5 m,看似漂亮,但有效点损失 35%,且把一段真实的急转弯当成异常删除——这种"指标达标、物理失真"的结果必须通过代价侧指标识别出来。因此评价标准应成对给出,例如"RMS ≤ 2.0 m 且有效点损失 ≤ 10% 且机动段保留完整",三者同时满足才算清洗合格。
把本节内容串起来看,逻辑是一条闭环:先用 RMS/CEP、完整性、一致性三类指标把数据"体检"清楚,再依据任务精度底线设定目标与容忍度,清洗后回到同一套指标复评,未达标则调整阈值或方法迭代。指标是尺子,目标是刻度,容忍度是允许的偏差范围——三者定义清楚,后续的野值剔除、插值、平滑才有据可依。