3. 行情数据特征：高频行情数据的特点、数据源类型与质量影响

在《行情坏账率哨兵 Drift Monitoring》体系中，行情数据是风险计算的“燃料”。高频行情数据具有独特的时序与结构特征，其数据源类型（Level1 / Level2）以及数据质量直接决定了坏账率预警的准确性与时效性。本章将系统梳理这三部分核心知识。

3.1 高频行情数据的特点

高频行情数据通常指 Tick 级（逐笔）或毫秒级快照数据，与传统的日线、分钟线有本质区别。其核心特点如下：

3.2 数据源类型：Level1 与 Level2

行情数据源按信息深度通常分为 Level1（市场快照）与 Level2（深度订单簿）。两者在数据内容、更新频率和风控价值上存在显著差异。

3.3 数据质量对坏账率的影响

数据质量是坏账率哨兵系统的生命线。即使算法再先进，低质量行情数据也会导致误报、漏报甚至系统性风险。以下是常见的数据质量问题及其对坏账率计算的具体影响：

• 数据缺失（Missing Tick）：网络抖动或交易所推送中断导致连续 Tick 丢失。坏账率计算会跳过关键价格跳跃，低估实际波动风险。
• 数据延迟（Latency Spike）：行情到达时间戳滞后于实际成交时间。坏账率哨兵会基于过时数据做出预警，导致“事后诸葛亮”式的无效报警。
• 数据重复（Duplicate Tick）：同一笔行情被推送多次。若不进行去重，坏账率指标中的成交量、笔数会被放大，产生虚假流动性信号。
• 数据异常（Outlier Tick）：价格或数量出现明显错误（如价格跳变 100 倍）。坏账率计算会瞬间触发极端值，导致误报。
• 数据错序（Out-of-Order Tick）：后发生的行情先到达。若不进行时间戳排序，坏账率计算会得到负的时间差，破坏所有时序指标。

3.4 数据质量监控与清洗最佳实践

为了保障坏账率哨兵的可靠性，必须建立自动化的数据质量监控与清洗流水线。以下是一套经过实盘验证的实践方案：

1. 实时质量评分：为每只股票、每个数据源计算实时质量评分（0~100），综合考量延迟、缺失率、重复率、异常率。
2. 多源交叉验证：同时接入至少两个独立行情源（如交易所直连 + 第三方聚合），当主源质量评分低于阈值时自动切换。
3. 数据清洗流水线：在坏账率计算之前，依次执行去重、时间戳排序、异常值截断、缺失值插值（使用前向填充或线性插值）。
4. 质量日志与告警：记录每次数据质量事件，当连续 3 个 Tick 质量评分低于 60 时，触发运维告警并暂停坏账率输出。

import pandas as pd

def clean_tick_data(df: pd.DataFrame) -> pd.DataFrame:
    """
    清洗高频 Tick 数据：去重 + 时间戳排序 + 异常价格过滤
    """
    # 1. 去重：基于时间戳与价格完全相同的行
    df = df.drop_duplicates(subset=['timestamp', 'price', 'volume'])

    # 2. 按时间戳升序排列
    df = df.sort_values('timestamp').reset_index(drop=True)

    # 3. 异常价格过滤：剔除价格超过 5 倍滚动中位数的 Tick
    median_price = df['price'].rolling(window=20, min_periods=1).median()
    df = df[df['price'] <= median_price * 5]

    return df

# 使用示例
# raw_data = pd.read_parquet('tick_data.parquet')
# cleaned_data = clean_tick_data(raw_data)