4. 数据预处理与清洗：时间戳对齐、缺失值处理、异常值检测、数据标准化
在事件驱动回测中，原始行情数据、财务数据、事件标签数据往往来自不同数据源，存在时间戳不一致、字段缺失、异常跳变、量纲差异等问题。若直接用于回测引擎，会导致信号偏移、资金曲线失真、绩效指标不可信。本章聚焦于数据预处理与清洗的四个核心环节：时间戳对齐、缺失值处理、异常值检测、数据标准化，并给出可落地的实战方案。
核心原则：预处理流程必须在回测引擎加载数据之前完成，且每个环节需保留原始数据副本，以便追溯校准。
4.1 时间戳对齐
不同数据源的时间戳粒度与基准时区可能不同。例如，交易所行情为毫秒级时间戳，而财务数据为日频日期。对齐策略分为以下三种：
| 对齐方式 | 适用场景 | 实现方法 | 注意事项 |
|---|---|---|---|
| 前向填充 | 低频数据对齐到高频时间轴 | 使用最近有效值填充后续缺失时间点 | 避免未来信息泄漏，仅使用历史值 |
| 后向填充 | 高频数据对齐到低频时间轴 | 取时间窗口内的最后一个有效值 | 需确认窗口边界是否包含未来数据 |
| 插值对齐 | 连续型指标（如收益率曲线） | 线性插值或样条插值 | 仅适用于数值型字段，不适用于标签 |
实战建议：在事件驱动回测中，推荐使用前向填充作为默认对齐策略，因为它天然避免了未来信息泄漏。对于财务数据，通常将日频数据前向填充到分钟级时间轴。
以下是一个时间戳对齐的代码示例（Python + pandas）：
import pandas as pd
# 假设 tick_data 为毫秒级行情，fund_data 为日频财务数据
tick_data = pd.DataFrame({
'timestamp': pd.to_datetime(['2024-01-02 09:30:00.123',
'2024-01-02 09:30:01.456']),
'price': [100.5, 100.7]
})
fund_data = pd.DataFrame({
'date': pd.to_datetime(['2024-01-02', '2024-01-03']),
'pe_ratio': [15.2, 15.5]
})
# 将财务数据时间戳对齐到行情时间轴（前向填充）
fund_data.set_index('date', inplace=True)
fund_aligned = fund_data.reindex(
tick_data['timestamp'].floor('D'), method='ffill'
)
tick_data['pe_ratio'] = fund_aligned['pe_ratio'].values
print(tick_data)4.2 缺失值处理
缺失值在回测数据中常见于停牌、节假日、数据源中断等场景。处理策略需根据缺失比例和字段类型选择：
- 删除法：当缺失比例 < 1% 且为随机缺失时，直接删除对应行或列。
- 填充法：
- 数值型字段：使用前向填充、后向填充、中位数填充。
- 类别型字段：使用众数填充或单独标记为“未知”。
- 模型预测法：当缺失比例较高（> 20%）且字段重要时，使用回归或 KNN 预测缺失值。
避坑提示：在回测中，切勿使用未来数据填充缺失值。例如，使用后向填充时，若填充值来自未来时间点，将导致回测结果虚高。建议在填充前对时间轴进行严格排序。
缺失值处理流程可概括为以下 SVG 图：
4.3 异常值检测
异常值在回测数据中表现为价格跳空、成交量突变、财务指标异常等。常用检测方法包括：
| 检测方法 | 原理 | 适用字段 | 阈值设置 |
|---|---|---|---|
| Z-Score 法 | 计算数据点与均值的标准差倍数 | 正态分布数据（如收益率） | |Z| > 3 视为异常 |
| IQR 法 | 基于四分位距识别离群点 | 偏态分布数据（如成交量） | Q1 - 1.5*IQR 或 Q3 + 1.5*IQR |
| 移动平均偏差 | 比较当前值与滑动窗口均值的偏离 | 时间序列数据（如价格） | 偏离 > 3 倍窗口标准差 |
实战案例：在回测某股票 2023 年数据时，发现某日收盘价较前一日上涨 50%，经查为数据源错误（除权未复权）。使用移动平均偏差法成功识别该异常，并替换为复权后价格。
异常值检测与处理流程如下：
4.4 数据标准化
不同指标的量纲差异（如价格 vs 成交量 vs PE 比率）会导致回测模型对数值较大的特征过度敏感。标准化方法分为以下两类：
| 方法 | 公式 | 输出范围 | 适用场景 |
|---|---|---|---|
| Z-Score 标准化 | z = (x - μ) / σ | 均值为 0，标准差为 1 | 数据近似正态分布，无严格边界 |
| Min-Max 归一化 | z = (x - min) / (max - min) | [0, 1] | 数据有明确上下界，需保持相对比例 |
| Robust 标准化 | z = (x - median) / IQR | 中位数为 0，IQR 为 1 | 数据包含异常值，需降低离群点影响 |
实战建议：在事件驱动回测中，推荐对截面数据（如同一时间点的多个股票指标）使用 Z-Score 标准化，对时间序列数据（如单个股票的历史价格）使用 Min-Max 归一化，以避免未来信息泄漏。
标准化前后的数据对比示例：
import numpy as np
from sklearn.preprocessing import StandardScaler, MinMaxScaler
# 原始数据：价格（元）、成交量（万股）、PE 比率
data = np.array([[100.5, 200.0, 15.2],
[101.2, 180.0, 15.5],
[99.8, 220.0, 14.9]])
# Z-Score 标准化
scaler_z = StandardScaler()
data_z = scaler_z.fit_transform(data)
print("Z-Score 标准化结果:\n", data_z)
# Min-Max 归一化
scaler_mm = MinMaxScaler()
data_mm = scaler_mm.fit_transform(data)
print("Min-Max 归一化结果:\n", data_mm)
关键提醒：标准化参数（均值、标准差、最小值、最大值）必须使用训练集或历史窗口计算，并在整个回测期间固定。若使用全量数据计算参数，将引入未来信息，导致回测结果不可信。
4.5 预处理流程总结
将上述四个环节串联，形成完整的数据预处理流水线：
- 时间戳对齐：统一所有数据源的时间轴，优先使用前向填充。
- 缺失值处理：根据缺失比例和字段类型选择删除或填充策略。
- 异常值检测：使用 IQR 或移动平均偏差法识别并修正异常点。
- 数据标准化：根据数据分布特征选择 Z-Score 或 Min-Max 方法。
每个环节的输出都需经过质量校验，包括时间轴连续性检查、缺失率统计、异常值占比统计、标准化后分布验证。只有通过校验的数据才能进入回测引擎。