3. 高频行情数据特征：数据频率、噪声、缺失与异常值处理

高频行情数据是量化交易系统最底层的“燃料”。与日线或分钟线数据不同，高频数据在毫秒甚至微秒级别采集，其质量直接决定坏账率告警阈值的可信度。本节从数据频率、噪声、缺失与异常值三个维度展开，帮助架构师建立数据质量评估与清洗的工程化标准。

3.1 数据频率：毫秒级与微秒级的工程差异

高频行情的数据频率通常分为两个层级：毫秒级（1-1000ms） 和 微秒级（1-1000μs）。不同频率对存储、计算和告警逻辑的要求差异显著。

3.2 数据噪声：来源、类型与滤波策略

高频行情中的噪声主要来自三个方面：网络抖动（延迟尖刺）、撮合引擎微结构（订单簿短暂失衡）、数据源时钟不同步。噪声会导致坏账率计算出现“假阳性”或“假阴性”。

3.2.1 噪声分类

3.2.2 常用滤波方法

• 中值滤波： 对连续 N 笔价格取中位数，适合剔除单点毛刺，延迟约 N/2 笔。
• 卡尔曼滤波： 适用于已知运动模型的高频数据，能同时估计真实价格和噪声方差，计算开销较大。
• 限幅滤波： 设定最大变化率（如每毫秒价格变化不超过 0.1%），超出则用前值替代。
• 时间桶均值： 将微秒级数据聚合到固定时间桶（如 10ms），桶内取 VWAP（成交量加权均价）。

3.3 数据缺失与异常值处理

高频数据流中，缺失和异常是常态而非例外。缺失可能由网络丢包、交易所限流、数据源切换引起；异常值则可能来自撮合引擎的“试单”或“闪电崩盘”前的极端报价。

3.3.1 缺失处理策略

3.3.2 异常值检测与处理

异常值检测通常采用 统计阈值法 或 机器学习隔离森林法。在坏账率告警场景下，推荐使用轻量级的 Z-Score 动态阈值：

// 伪代码：Z-Score 异常值检测
double mean = rollingMean(prices, window=50);
double std = rollingStd(prices, window=50);
double zScore = abs(currentPrice - mean) / std;

if (zScore > 3.0) {
    // 标记为异常值，不参与坏账率计算
    markAsOutlier(currentTimestamp);
    // 使用前值或插值替代
    currentPrice = lastValidPrice;
}

3.4 数据质量监控与告警联动

高频行情的数据质量本身就应该纳入坏账率告警体系。建议在系统中设置 数据质量健康分，当健康分低于阈值时，自动降低坏账率告警的敏感度或暂停告警。