4. 数据清洗基础：缺失值处理、异常值检测（价格跳变、零成交量）、时间戳对齐与重采样

Tick 数据在采集、传输与存储过程中极易受到市场噪声、系统延迟及交易所规则的影响，产生缺失值、异常记录与时间戳错位。本章将系统讲解三类核心清洗操作，确保后续标签校准建立在干净、连续、可对齐的数据基础之上。

4.1 缺失值处理

Tick 数据中的缺失值通常表现为某一行或连续多行的时间戳、价格、成交量字段为空。缺失原因包括：交易所撮合引擎在无成交时跳过推送、网络丢包、数据库写入失败等。

4.1.1 缺失值分类与处理策略

4.1.2 前向填充与线性插值代码示例

import pandas as pd
import numpy as np

# 示例：模拟 Tick 数据
tick_data = pd.DataFrame({
    'timestamp': pd.to_datetime(['2024-01-10 09:30:00.000',
                                 '2024-01-10 09:30:00.100',
                                 '2024-01-10 09:30:00.200',
                                 '2024-01-10 09:30:00.300']),
    'price': [100.50, np.nan, 100.55, np.nan],
    'volume': [100, 50, np.nan, 80]
})

# 前向填充价格
tick_data['price_ffill'] = tick_data['price'].ffill()

# 线性插值价格（适用于连续缺失）
tick_data['price_interp'] = tick_data['price'].interpolate(method='linear')

# 成交量缺失填充为 0
tick_data['volume_filled'] = tick_data['volume'].fillna(0)

print(tick_data)

4.2 异常值检测：价格跳变与零成交量

异常值会严重扭曲标签校准结果。Tick 数据中最常见的两类异常是价格跳变（Price Spike）和零成交量（Zero Volume）。

4.2.1 价格跳变检测

价格跳变指相邻 Tick 之间的价格变化幅度远超正常市场波动范围，通常由数据录入错误或撮合异常引起。检测方法包括固定阈值法和滚动统计法。

def detect_price_spike(series, window=20, threshold=3):
    """基于滚动 Z-Score 检测价格跳变"""
    returns = series.pct_change().dropna()
    rolling_mean = returns.rolling(window).mean()
    rolling_std = returns.rolling(window).std()
    z_scores = (returns - rolling_mean) / rolling_std
    return z_scores.abs() > threshold

# 标记异常
tick_data['is_spike'] = detect_price_spike(tick_data['price_ffill'])

4.2.2 零成交量处理

零成交量记录表示该 Tick 时间点没有实际成交。在标签校准中，零成交量记录不应参与价格变化计算，但保留时间戳用于对齐。

4.3 时间戳对齐与重采样

不同数据源（交易所、券商、第三方数据商）的时间戳精度和基准可能不一致。时间戳对齐是构建统一标签样本的前提。

4.3.1 时间戳对齐策略

• 最近邻对齐： 将每个 Tick 的时间戳对齐到最近的整数毫秒或微秒。
• 向前对齐： 将时间戳向下取整到指定精度（如 100ms 桶）。
• 向后对齐： 将时间戳向上取整到指定精度。

4.3.2 重采样方法

重采样将不规则 Tick 数据转换为固定频率的时间序列，是标签校准的标准前置步骤。

# 设置时间戳为索引
tick_data.set_index('timestamp', inplace=True)

# 重采样为 100ms 频率，使用前向填充
resampled = tick_data.resample('100ms').ffill()

# 重采样为 1s 频率，使用 OHLC 聚合
ohlc = tick_data['price_ffill'].resample('1s').ohlc()
volume_sum = tick_data['volume_filled'].resample('1s').sum()

4.4 数据清洗流程总览

4.5 清洗效果评估指标

完成清洗后，建议使用以下指标评估清洗质量：