3. Tick数据预处理：缺失值处理、异常值检测、时间戳对齐与重采样、交易日历过滤

高频Tick数据在采集、传输与存储过程中极易受到市场微观结构噪声、网络延迟、交易所规则及硬件故障的影响。原始Tick数据通常包含缺失值、异常价格跳跃、涨跌停边界、时间戳错位以及非交易时段冗余记录等问题。本章将系统讲解Tick数据预处理的四大核心环节，确保后续特征工程建立在干净、对齐、连续的数据基础之上。

3.1 缺失值处理

Tick数据中的缺失值通常表现为：某只股票在连续交易时段内出现时间戳断层（无任何报价或成交记录），或单笔记录中部分字段（如卖一价、成交量）为空。缺失原因包括：交易所数据推送间歇性中断、行情网关丢包、数据库写入延迟等。

3.1.1 缺失类型与检测方法

3.1.2 处理策略

• 前向填充（Forward Fill）： 适用于价格类字段（最新价、买一价、卖一价），使用最近一个有效值填充后续缺失，直到新Tick到达。这是高频场景下最常用的方法。
• 线性插值（Linear Interpolation）： 适用于短时间断层（< 3个Tick间隔），在缺失区间两端有效值之间做线性插值。注意：插值会引入非真实价格，需谨慎使用。
• 删除记录： 当缺失字段为关键标识（如证券代码、时间戳）或缺失比例超过阈值（如>5%）时，直接删除该笔记录。
• 标记缺失区间： 对于时间戳断层，不填充数据，而是生成一个“缺失标记”特征，供后续模型识别该区间的不确定性。

# Python示例：前向填充与时间戳断层检测
import pandas as pd

# 假设df包含列：timestamp, price, bid_price, ask_price
df['price'] = df['price'].ffill()                     # 前向填充价格
df['bid_price'] = df['bid_price'].ffill()             # 前向填充买一价
df['ask_price'] = df['ask_price'].ffill()             # 前向填充卖一价

# 检测时间戳断层（阈值设为500毫秒）
df['time_gap'] = df['timestamp'].diff().dt.total_seconds() * 1000
df['gap_flag'] = (df['time_gap'] > 500).astype(int)

3.2 异常值检测：价格跳跃与涨跌停

Tick数据中的异常值主要分为两类：价格跳跃（Price Jump）和涨跌停边界（Price Limit）。前者通常由数据错误或市场突发事件引起，后者则是交易所规则导致的硬边界。

3.2.1 价格跳跃检测

价格跳跃指相邻Tick之间价格变化幅度远超正常市场波动。检测方法包括：

• 固定阈值法： 设定绝对价格变化阈值（如0.5元）或相对变化阈值（如5%），超过则标记为跳跃。
• 移动统计法： 基于过去N个Tick的价格标准差，标记超过均值±k倍标准差的价格点（常用k=5或k=10）。
• 中位数绝对偏差法（MAD）： 对极端值更鲁棒，使用 MAD = median(|price - median(price)|)，标记超过3倍MAD的点。

# Python示例：基于MAD的价格跳跃检测
import numpy as np

def detect_jump_mad(series, window=20, threshold=3.0):
    rolling_median = series.rolling(window=window, center=True).median()
    rolling_mad = (series - rolling_median).abs().rolling(window=window, center=True).median()
    # 避免除以0
    rolling_mad = rolling_mad.replace(0, np.nan)
    z_score_mad = 0.6745 * (series - rolling_median) / rolling_mad
    return np.abs(z_score_mad) > threshold

df['jump_flag'] = detect_jump_mad(df['price'])

3.2.2 涨跌停边界处理

A股市场设有±10%（普通股票）或±20%（科创板/创业板）的涨跌停限制。Tick数据在触及涨跌停时，价格不会超出边界，但可能出现以下异常：

• 价格粘滞： 连续多个Tick价格完全相同（封死涨停/跌停），成交量可能骤降或放大。
• 虚假突破： 某些数据源可能因撮合规则（如集合竞价）短暂记录超出涨跌停的价格，需过滤。
• 涨跌停打开： 价格从涨跌停板回落，此时Tick序列出现大幅反向跳跃，属于有效市场行为，不应视为异常。

3.3 时间戳对齐与重采样

不同数据源、不同交易所、不同证券品种的Tick时间戳精度和时区可能不一致。时间戳对齐的目标是建立统一的、可比较的时间基准。

3.3.1 时间戳对齐步骤

1. 时区统一： 将所有时间戳转换为同一时区（通常为交易所本地时区，如Asia/Shanghai）。
2. 精度归一化： 将毫秒、微秒、纳秒级时间戳统一截断或四舍五入到指定精度（如毫秒）。
3. 去重与排序： 按时间戳和证券代码去重，确保每个时间点只有一条记录；按时间升序排列。
4. 对齐到标准时间网格： 将Tick数据对齐到固定的时间网格（如每100ms、每500ms、每1s），生成等间隔的时间序列。

3.3.2 重采样方法

重采样是将不规则Tick数据转换为规则时间间隔数据的过程。常用方法包括：

# Python示例：将Tick数据重采样为1秒OHLC
df['timestamp'] = pd.to_datetime(df['timestamp'])
df.set_index('timestamp', inplace=True)

# 1秒重采样，使用最后Tick法
resampled = df.resample('1S').agg({
    'price': 'last',           # 收盘价
    'volume': 'sum',           # 成交量
    'bid_price': 'last',       # 买一价
    'ask_price': 'last',       # 卖一价
    'bid_volume': 'sum',       # 买一量
    'ask_volume': 'sum'        # 卖一量
})

# 计算开盘价、最高价、最低价（需要原始数据支持）
resampled['open'] = df['price'].resample('1S').first()
resampled['high'] = df['price'].resample('1S').max()
resampled['low'] = df['price'].resample('1S').min()

3.4 交易日历过滤

交易日历过滤的目的是剔除非交易时段的数据，确保只保留在交易所正常交易时间内产生的Tick记录。不同市场、不同品种的交易时段差异很大。

3.4.1 过滤规则

• 剔除非交易日： 周末、法定节假日、交易所临时休市日。
• 剔除非交易时段： 盘前集合竞价（9:15-9:25）、午间休市（11:30-13:00）、盘后固定价格交易（15:05-15:30）等时段的数据，根据策略需求决定是否保留。
• 剔除异常时段： 交易所系统测试、临时停牌、盘中熔断等特殊时段。

3.4.2 交易日历数据结构

建议维护一个独立的交易日历表，包含以下字段：

# Python示例：基于交易日历过滤Tick数据
import pandas as pd

# 加载交易日历
trade_calendar = pd.read_csv('trade_calendar.csv', parse_dates=['trade_date'])

# 过滤非交易日
df['date'] = df['timestamp'].dt.date
df = df[df['date'].isin(trade_calendar[trade_calendar['is_trading_day']]['trade_date'])]

# 过滤非连续竞价时段（仅保留9:30-11:30, 13:00-15:00）
df['time'] = df['timestamp'].dt.time
morning_mask = (df['time'] >= pd.Timestamp('09:30:00').time()) & (df['time'] <= pd.Timestamp('11:30:00').time())
afternoon_mask = (df['time'] >= pd.Timestamp('13:00:00').time()) & (df['time'] <= pd.Timestamp('15:00:00').time())
df = df[morning_mask | afternoon_mask]

3.5 预处理流程总览

下图展示了Tick数据预处理的完整流程，从原始数据输入到清洗对齐后的标准Tick数据输出：

3.6 预处理质量评估指标

完成预处理后，建议从以下维度评估数据质量：