4. Tick数据预处理：数据重采样、标准化与窗口构建

Tick数据具有高频、非等间隔、海量三大特征。直接使用原始Tick数据进行建模会面临噪声过重、计算资源爆炸、信号不一致等问题。本章围绕数据重采样（将非等间隔Tick转为等间隔或等交易量K线）、数据标准化与归一化（消除量纲差异）、数据切片与窗口构建（生成监督学习样本）三个核心环节展开，为后续特征工程与策略优化奠定基础。

4.1 数据重采样：从非等间隔到规整K线

Tick数据每笔成交的时间间隔不固定（几毫秒到几秒不等）。重采样是将这些离散事件聚合为固定频率或固定交易量的“K线”数据，是后续所有特征计算的前提。

4.1.1 等时间间隔重采样

按固定时间窗口（如1秒、5秒、1分钟）聚合Tick数据，每个窗口内生成OHLCV（开盘、最高、最低、收盘、成交量）标准K线。

import pandas as pd

# 假设tick_df包含['timestamp', 'price', 'volume']列
tick_df['timestamp'] = pd.to_datetime(tick_df['timestamp'])
tick_df.set_index('timestamp', inplace=True)

# 等时间间隔重采样：1秒K线
resampled_1s = tick_df.resample('1S').agg({
    'price': 'ohlc',          # 生成Open, High, Low, Close
    'volume': 'sum'
})
# 展平多级列索引
resampled_1s.columns = ['open', 'high', 'low', 'close', 'volume']
resampled_1s.dropna(inplace=True)

4.1.2 等交易量重采样

等交易量K线（Volume Bar）按固定成交量阈值（如每1000股）划分窗口，能更均匀地反映市场信息流，避免低活跃时段产生过多空窗口。

def resample_volume_bars(tick_df, volume_threshold=1000):
    """
    等交易量重采样：每累计volume_threshold股生成一根K线
    """
    bars = []
    current_volume = 0
    open_price = tick_df.iloc[0]['price']
    high_price = open_price
    low_price = open_price
    close_price = open_price
    total_volume = 0

    for idx, row in tick_df.iterrows():
        price = row['price']
        vol = row['volume']
        current_volume += vol
        total_volume += vol
        high_price = max(high_price, price)
        low_price = min(low_price, price)
        close_price = price

        if current_volume >= volume_threshold:
            bars.append({
                'open': open_price,
                'high': high_price,
                'low': low_price,
                'close': close_price,
                'volume': total_volume,
                'end_time': idx
            })
            # 重置
            open_price = price
            high_price = price
            low_price = price
            close_price = price
            current_volume = 0
            total_volume = 0

    return pd.DataFrame(bars)

4.2 数据标准化与归一化

原始Tick数据中的价格、成交量、买卖价差等特征量纲差异巨大（价格可能100+，成交量可能10^6）。标准化与归一化能消除量纲影响，提升模型收敛速度与稳定性。

4.2.1 常用方法对比

from sklearn.preprocessing import StandardScaler, MinMaxScaler, RobustScaler

# 假设features为DataFrame，包含['price', 'volume', 'spread']等列
# 注意：标准化应在重采样之后、窗口构建之前进行

# Z-score标准化（推荐用于价格类特征）
scaler_price = StandardScaler()
features['price_z'] = scaler_price.fit_transform(features[['price']])

# Min-Max归一化（推荐用于成交量类特征）
scaler_volume = MinMaxScaler(feature_range=(0, 1))
features['volume_norm'] = scaler_volume.fit_transform(features[['volume']])

# Robust标准化（推荐用于买卖价差等含异常值特征）
scaler_spread = RobustScaler()
features['spread_robust'] = scaler_spread.fit_transform(features[['spread']])

4.3 数据切片与窗口构建

将重采样并标准化后的K线数据转换为监督学习所需的样本-标签对。核心操作是滑动窗口切片：用过去N根K线的特征预测未来M根K线的目标变量（如未来收益率、波动率、买卖压力等）。

4.3.1 滑动窗口构建流程

1. 确定窗口参数：输入窗口长度（lookback，如64根K线）、预测窗口长度（horizon，如1根K线）、步长（stride，通常为1）。
2. 特征矩阵构建：将每段连续K线数据堆叠为三维张量 (样本数, 时间步, 特征数)。
3. 标签对齐：每个输入窗口对应未来horizon步的目标值。
4. 时间戳保留：记录每个样本的结束时间，用于后续回测时的时间对齐。

import numpy as np

def create_sliding_windows(data, lookback=64, horizon=1, stride=1):
    """
    构建滑动窗口样本
    data: 二维数组 (时间步, 特征数)
    lookback: 输入窗口长度
    horizon: 预测步长（正数表示未来，负数表示过去）
    stride: 滑动步长
    返回: X (样本数, lookback, 特征数), y (样本数,)
    """
    X, y, timestamps = [], [], []
    for i in range(0, len(data) - lookback - abs(horizon) + 1, stride):
        X.append(data[i : i + lookback])
        target_idx = i + lookback + horizon - 1 if horizon > 0 else i + lookback + horizon
        y.append(data[target_idx, 0])  # 假设第0列为目标特征（如close价格）
        timestamps.append(i + lookback)  # 记录样本结束时间
    return np.array(X), np.array(y), np.array(timestamps)

# 示例：使用重采样后的1秒K线数据
# features_scaled: (N, 5) 包含 [close_z, volume_norm, spread_robust, ...]
X, y, ts = create_sliding_windows(features_scaled, lookback=128, horizon=1)
print(f"样本形状: {X.shape}")  # (N-128, 128, 5)

4.3.2 窗口构建策略对比

4.4 预处理全流程SVG架构图

下图展示了从原始Tick数据到监督学习样本的完整预处理流水线，包含重采样、标准化、窗口构建三大核心模块。

4.5 预处理质量检查清单

完成预处理后，建议按以下清单逐项验证数据质量，避免“垃圾进垃圾出”。

• 时间连续性检查：重采样后的时间戳是否严格等间隔？是否存在缺失窗口？
• 边界值检查：标准化后的特征是否存在极端值（如|z-score| > 10）？是否需要截断或重新选择标准化方法？
• 样本重叠检查：滑动窗口构建时，相邻样本是否存在大量重叠？是否会导致训练集与验证集信息泄露？
• 标签分布检查：预测目标（如未来收益率）的分布是否接近对称？是否存在严重的类别不平衡（如方向预测中涨跌比例失调）？
• 内存与性能检查：三维张量是否超出可用内存？是否需要使用生成器或分块处理？