4、数据预处理与质量评估：数据清洗、异常检测、质量指标与缺失率统计

多传感器融合推理的成败，往往不取决于融合算法的先进程度，而取决于输入数据的质量。在工程实践中，传感器数据不可避免地包含噪声、离群点、时间戳错位和缺失值。若未经预处理直接送入融合模型，轻则降低推理精度，重则导致状态估计发散或产生虚假目标。本章围绕数据清洗、异常检测、质量指标（完整性、准确性、时效性）以及缺失率统计方法展开，建立一套可量化、可操作的数据质量保障框架。

上图展示了多传感器数据从采集到融合推理的完整链路。预处理阶段负责将原始数据转换为干净、对齐、带质量标签的数据；质量评估阶段则从完整性、准确性、时效性三个维度量化数据可用性，并将缺失率统计结果反馈给融合模块，用于动态调整各传感器的信任权重。下面逐一展开各环节的具体方法。

4.1 数据清洗：从原始数据到可用数据的第一道工序

核心原理：数据清洗的目标是识别并修正数据中的明显错误、不一致和冗余。在多传感器系统中，清洗操作通常包括：去除重复帧、修正时间戳乱序、剔除物理上不可能的值（如速度超过平台物理极限）、统一量纲和坐标系。清洗不是简单地删除数据，而是在保留有效信息的前提下，消除对融合推理有害的干扰。

判断方法：清洗规则通常分为静态规则和动态规则两类。静态规则基于传感器物理特性和平台运动学约束，例如：

# 示例：雷达目标速度合理性检查
# 平台最大速度 60 m/s，雷达目标径向速度不应超过 70 m/s（含误差余量）
if abs(radar_target.velocity) > 70.0:
    mark_as_invalid(radar_target, reason="velocity_out_of_range")

# 示例：IMU加速度计静态漂移检查
# 静止时加速度模值应在 [9.0, 10.5] m/s² 范围内
accel_magnitude = sqrt(ax^2 + ay^2 + az^2)
if abs(accel_magnitude - 9.81) > 0.8:
    mark_as_suspect(imu_sample, reason="accel_bias_drift")

动态规则则利用历史数据的统计特性，例如滑动窗口内的均值、标准差，将偏离窗口均值超过 3σ 的样本标记为可疑。清洗操作必须记录日志，便于后续追溯。

4.2 异常检测：识别离群点与系统性故障

核心原理：异常检测与数据清洗的区别在于：清洗处理的是已知的、规则明确的错误；异常检测则要发现未知的、模式异常的数据。多传感器场景下的异常分为两类：点异常（单个样本偏离正常范围）和模式异常（一段时间内数据分布发生系统性偏移，如传感器漂移、遮挡、干扰）。

操作流程：常用的异常检测方法包括：

1. 基于统计的方法：计算滑动窗口内的均值和标准差，使用 Z-score 或 Modified Z-score 识别离群点。适用于 IMU、GPS 等连续量测。
2. 基于距离的方法：计算每个样本与邻域样本的欧氏距离或马氏距离，距离超过阈值则判为异常。适用于雷达点云、激光雷达点云。
3. 基于模型的方法：使用卡尔曼滤波器的创新序列（innovation sequence）检测异常。若新息（测量值与预测值之差）的归一化平方超过卡方分布阈值，则判定该量测为异常。

# 基于卡尔曼新息的异常检测示例
innovation = z - H @ x_pred
S = H @ P_pred @ H.T + R
mahalanobis_dist = innovation.T @ inv(S) @ innovation
if mahalanobis_dist > chi2.ppf(0.99, df=dim_z):
    reject_measurement()

案例拆解：某无人车平台在隧道中行驶时，GPS 信号被遮挡，位置输出出现跳变。初始现象是融合后的车辆位置在隧道内突然偏移 15 米。分析过程：检查 GPS 原始数据发现，位置跳变伴随卫星数量从 12 颗骤降至 3 颗，且 HDOP（水平精度因子）从 0.8 升至 6.5。通过设置 HDOP > 5 时降低 GPS 权重、同时利用 IMU 航位推算的规则，融合位置误差从 15 米降至 1.2 米。该案例说明，异常检测不仅要看数据本身，还要结合传感器状态信息（如卫星数、HDOP）进行综合判断。

4.3 质量指标：完整性、准确性与时效性

核心原理：质量指标是量化数据可用性的标尺。完整性衡量数据缺失的程度；准确性衡量数据与真实值的偏差；时效性衡量数据从采集到可用的时间延迟。三个指标共同决定了融合算法对某路传感器数据的信任程度。

判断方法：

• 完整性（Completeness）：计算公式为：完整性 = 实际接收样本数 / 理论应接收样本数 × 100%。理论应接收样本数由传感器标称频率和运行时长决定。例如，一个 20Hz 的雷达运行 10 秒，理论应接收 200 帧，实际收到 185 帧，则完整性为 92.5%。
• 准确性（Accuracy）：通常用均方根误差（RMSE）或平均绝对误差（MAE）衡量。在无真值参考时，可通过多传感器交叉验证估算相对准确性。例如，雷达与摄像头同时检测到同一目标，两者位置差异可反映至少一路传感器的准确性下降。
• 时效性（Timeliness）：包括传输延迟、处理延迟和队列等待时间。时效性指标通常用“数据新鲜度”表示，即当前时间减去数据采集时间戳。若新鲜度超过融合周期（如 50ms），则该帧数据应被降权或丢弃。

4.4 缺失率统计方法：从简单计数到时空分布分析

核心原理：缺失率统计是完整性指标的细化。不仅要统计整体缺失比例，还要分析缺失的时空分布特征——是随机缺失、连续缺失还是周期性缺失。不同缺失模式对融合推理的影响截然不同：随机缺失可通过插值补偿；连续缺失（如传感器故障）则需要切换融合策略。

操作流程：

1. 基础缺失率计算：按时间窗口（如 1 秒、10 秒）统计缺失帧数，绘制缺失率时间序列。
2. 缺失模式分类：使用游程编码（Run-length Encoding）识别连续缺失段。若连续缺失超过 N 帧（如 10 帧），判定为“中断事件”。
3. 空间分布统计：对于雷达或激光雷达，按方位角/距离分箱统计缺失率，识别视场盲区。

# 缺失模式识别伪代码
def analyze_missing_pattern(timestamps, expected_freq):
    expected_interval = 1.0 / expected_freq
    gaps = []
    for i in range(1, len(timestamps)):
        gap = timestamps[i] - timestamps[i-1]
        if gap > 1.5 * expected_interval:
            gaps.append((timestamps[i-1], timestamps[i], gap))
    # 连续缺失超过 0.5 秒视为中断
    long_gaps = [g for g in gaps if g[2] > 0.5]
    return len(gaps), len(long_gaps)

案例拆解：某车载融合系统在 1 小时测试中，前置毫米波雷达共丢失 1200 帧（标称 20Hz，理论应采 72000 帧），整体缺失率 1.67%，看似不高。但进一步分析发现，缺失集中在两个时间段：每次 3~5 秒的连续缺失共发生 6 次，均出现在车辆经过高架桥下方时。这说明缺失并非随机，而是由遮挡导致。针对该模式，融合策略应在检测到连续缺失时，提前切换到摄像头+IMU 的融合模式，并在缺失结束后重新初始化雷达滤波器。通过该策略，目标跟踪的丢失率降低了 40%。

4.5 总结复盘：数据质量管理的工程要点

数据预处理与质量评估不是一次性的离线任务，而是需要在线持续运行的工程模块。以下要点值得在实际系统中落实：

• 建立数据质量基线：在系统上线前，采集各传感器在典型场景下的质量指标作为基线。运行中实时对比当前指标与基线，偏差超过阈值时触发告警。
• 清洗与异常检测的日志必须完整：每条被清洗或标记为异常的数据都应记录原因、时间戳和原始值，便于事后分析和算法调优。
• 质量指标与融合权重联动：将完整性、准确性、时效性综合为质量分数，并映射到融合算法的测量噪声协方差 R 矩阵。质量分数越低，R 值越大，该传感器在融合中的权重自动降低。
• 缺失率统计要区分“传感器未上电”与“运行中丢失”：前者属于系统配置问题，后者才是数据质量问题。统计时应剔除未上电时段，避免稀释缺失率。