4. 脏数据识别

在在途追踪场景中，GPS 终端上报的数据常因信号遮挡、设备故障、缓存机制或人为干扰而产生“脏数据”。脏数据若不识别并清洗，将直接导致轨迹失真、里程计算错误、停留点误判以及告警风暴。本章系统梳理五种核心脏数据类型，并给出识别规则与联动清洗策略。

4.1 脏数据分类与特征对比

下表从定义、典型成因、识别特征三个维度对五种脏数据进行横向对比，便于建立全局认知。

4.2 重复数据识别与清洗

重复数据是最易识别的一类脏数据，但若清洗不彻底，会导致里程重复计算和停留点误判。

4.2.1 识别规则

• 精确重复： 同一设备 ID + 时间戳完全相同的记录，只保留第一条。
• 近似重复： 时间戳差值 < 2s 且经纬度完全一致，视为重复，保留最早一条。

4.2.2 清洗策略

# 精确重复清洗示例（Python 伪代码）
def deduplicate_exact(records):
    seen = set()
    clean = []
    for rec in records:
        key = (rec.device_id, rec.timestamp)
        if key not in seen:
            seen.add(key)
            clean.append(rec)
    return clean

# 近似重复清洗（时间窗口 + 空间阈值）
def deduplicate_approx(records, time_window=2, dist_threshold=0.00001):
    records.sort(key=lambda r: r.timestamp)
    clean = []
    for rec in records:
        if not clean:
            clean.append(rec)
            continue
        last = clean[-1]
        time_diff = abs(rec.timestamp - last.timestamp)
        dist_diff = abs(rec.lat - last.lat) + abs(rec.lng - last.lng)
        if time_diff < time_window and dist_diff < dist_threshold:
            continue  # 丢弃近似重复
        clean.append(rec)
    return clean

4.3 漂移数据识别与清洗

漂移数据的特点是“瞬时异常、随即回归”，对瞬时速度计算和轨迹平滑影响最大。

4.3.1 识别规则

• 速度阈值法： 计算当前点与前后点的瞬时速度，若 > 180 km/h（或根据业务场景设定），标记为漂移候选。
• 夹角检测法： 计算前后两段向量的夹角，若夹角 < 30° 且速度异常，则判定为漂移。

4.3.2 清洗策略

def detect_drift(points, speed_threshold=50.0):  # 50 m/s ≈ 180 km/h
    drifts = []
    for i in range(1, len(points) - 1):
        prev, curr, next = points[i-1], points[i], points[i+1]
        speed1 = haversine(prev, curr) / (curr.t - prev.t)
        speed2 = haversine(curr, next) / (next.t - curr.t)
        if speed1 > speed_threshold and speed2 > speed_threshold:
            drifts.append(i)
    # 漂移点用前后点线性插值替换
    for idx in drifts:
        points[idx] = interpolate(points[idx-1], points[idx+1])
    return points

4.4 静止数据识别与清洗

静止数据与真实停车不同：真实停车时车辆 OBD 速度为 0，而静止数据是车辆在行驶但 GPS 坐标不更新。

4.4.1 识别规则

• 坐标不变 + 速度矛盾： 连续 5 个及以上点，经纬度变化 < 5 米，且 OBD 速度 > 5 km/h。
• 时间累积法： 静止持续时间 > 60s 且 OBD 速度持续 > 0，判定为静止脏数据。

4.4.2 清洗策略

def detect_static(points, obd_speed_key='obd_speed', coord_threshold=0.00005, min_count=5):
    static_indices = []
    count = 0
    for i in range(1, len(points)):
        if (abs(points[i].lat - points[i-1].lat) < coord_threshold and
            abs(points[i].lng - points[i-1].lng) < coord_threshold and
            points[i].get(obd_speed_key, 0) > 5):
            count += 1
            if count >= min_count:
                static_indices.append(i)
        else:
            count = 0
    # 对静止数据段，用 OBD 速度推算位置进行插值替换
    return replace_static_with_obd(points, static_indices)

4.5 缺失数据识别与补偿

缺失数据本身不产生错误记录，但会导致轨迹断裂，影响里程计算和连续性分析。

4.5.1 识别规则

• 时间间隔阈值： 相邻点时间差 > 2 × 正常上报间隔（如正常 30s，缺失 > 60s）。
• 连续缺失计数： 记录缺失段长度（缺失点数），用于决定补偿策略。

4.5.2 补偿策略

def linear_interpolate(p1, p2, num_points):
    """在 p1 和 p2 之间线性插入 num_points 个点"""
    points = []
    for i in range(1, num_points + 1):
        ratio = i / (num_points + 1)
        lat = p1.lat + (p2.lat - p1.lat) * ratio
        lng = p1.lng + (p2.lng - p1.lng) * ratio
        t = p1.t + (p2.t - p1.t) * ratio
        points.append(GPSPoint(lat, lng, t))
    return points

4.6 异常跳点识别与清洗

异常跳点与漂移数据的核心区别在于：跳点发生后，轨迹不会自动回归，而是持续偏离。

4.6.1 识别规则

• 距离阈值法： 相邻点距离 > 10 km（可根据城市/高速场景调整）。
• 持续性检测： 跳点后的连续 3 个点与历史轨迹的偏差持续增大，而非回归。

4.6.2 清洗策略

def detect_jump(points, dist_threshold=10000):  # 10 km
    jumps = []
    for i in range(1, len(points)):
        d = haversine(points[i-1], points[i])
        if d > dist_threshold:
            # 检查后续点是否回归
            if i + 2 < len(points):
                d2 = haversine(points[i-1], points[i+2])
                if d2 > dist_threshold * 0.8:  # 持续偏离
                    jumps.append(i)
    # 异常跳点直接剔除，用路网匹配重新生成
    return remove_and_rematch(points, jumps)

4.7 脏数据识别流程总览

下图展示了五种脏数据在实时流处理中的识别与清洗联动流程，各模块可独立配置阈值并输出告警事件。

4.8 脏数据识别参数配置参考

以下参数为典型场景推荐值，实际部署时应根据业务车型、路况、上报频率进行调优。

通过上述五种脏数据的系统化识别与清洗，结合告警规则联动，可显著提升在途追踪数据的质量，为后续的轨迹分析、里程计算、停留识别和 ETA 预测提供可靠的数据基础。