3. 数据质量评估

在GPS在途追踪系统中，原始数据往往包含大量噪声、漂移点和缺失记录。在进入清洗与告警规则联动配置之前，必须建立一套标准化的数据质量评估体系。本章从完整性、准确性、一致性、时效性、唯一性五个维度出发，构建可量化的评估指标与联动策略。

3.1 五大维度定义与评估指标

3.2 五维联动评估流程

单一维度的评估无法发现复合型数据问题。例如，一条记录可能同时存在时效性差（延迟上报）和准确性低（漂移点）的问题。因此，需要建立联动评估流程：

1. 字段级扫描：检查每条记录的必填字段（设备ID、时间戳、经度、纬度、速度、方向角）是否完整。
2. 逻辑校验：验证速度与相邻点距离是否匹配（v = d/t），检查时间戳是否严格递增。
3. 时空去重：基于设备ID+时间戳窗口（如±2秒）检测重复记录。
4. 时效性判定：计算数据上报时间与服务器接收时间的差值，标记超时记录。
5. 综合评分：将五维结果加权汇总，输出数据质量等级（A/B/C/D）。

3.3 各维度详细评估方法

3.3.1 完整性评估

完整性是数据质量的基础。在GPS数据中，最常见的缺失场景包括：

• 字段缺失：设备上报协议不完整，导致经度、纬度或时间戳为空。
• 记录缺失：因网络波动或设备故障，某段时间内完全没有数据上报。

评估代码示例：

def check_completeness(df, required_fields=['device_id', 'timestamp', 'longitude', 'latitude']):
    """检查GPS数据完整性"""
    total = len(df)
    missing_counts = {}
    for field in required_fields:
        missing = df[field].isnull().sum()
        missing_counts[field] = missing
    completeness_score = 1 - (sum(missing_counts.values()) / (total * len(required_fields)))
    return completeness_score, missing_counts

3.3.2 准确性评估

准确性主要关注定位误差和漂移点。常用方法包括：

• 静态漂移检测：车辆静止时，位置变化超过阈值（如20米）则标记为漂移。
• 动态漂移检测：瞬时速度超过道路限速或物理极限（如200km/h）。
• 回跳点检测：位置在短时间内出现大幅往返跳跃。

3.3.3 一致性评估

一致性校验关注数据内部逻辑是否自洽：

3.3.4 时效性评估

时效性直接影响告警的实时性。评估指标包括：

• 端到端延迟：从设备采集到服务器入库的时间差。
• 上报间隔偏差：实际间隔与预设间隔（如10秒）的差异。
• 连续超时次数：连续N次上报均超过延迟阈值。

3.3.5 唯一性评估

重复记录会干扰轨迹计算和里程统计。去重策略：

def deduplicate_gps(df, time_window='2s'):
    """基于设备ID和时间窗口去重"""
    df_sorted = df.sort_values(['device_id', 'timestamp'])
    df_sorted['dup_flag'] = (
        df_sorted.groupby('device_id')['timestamp']
        .diff()
        .abs() < pd.Timedelta(time_window)
    )
    return df_sorted[~df_sorted['dup_flag']].drop(columns=['dup_flag'])

3.4 质量等级划分与联动策略

基于五维评估结果，将数据质量划分为四个等级，每个等级对应不同的清洗与告警策略：

3.5 实战案例：五维评估报告解读

以下是一份真实的GPS数据质量评估报告片段，展示如何通过五维指标定位问题：