高频数据清洗与特征工程实战

01

高频数据概述 基础

定义、特点（高维度、高噪声、非平稳性）、常见高频数据源（逐笔成交、Level2快照、Tick级行情）

→

02

高频数据清洗基础 清洗

数据质量问题分类（缺失值、异常值、重复值、时间戳错乱）、清洗流程总览

→

03

时间戳标准化 清洗

不同交易所时间戳格式解析（Unix毫秒、纳秒、字符串）、时区处理、对齐到统一时间轴

→

04

缺失值处理 清洗

高频数据缺失模式分析、前向填充、后向填充、插值法（线性、样条）、基于时间窗口的填充策略

→

05

异常值检测与处理 清洗

基于统计（Z-score、IQR）、基于距离（DBSCAN）、滑动窗口突变检测、截断与替换策略

→

06

重复数据去重 清洗

精确去重与模糊去重、基于时间戳+价格+成交量的复合去重、高频场景去重性能优化

→

07

数据对齐与重采样 清洗

Tick数据对齐到固定时间间隔（1秒、5秒、1分钟）、多标的同步对齐、处理非交易时段

→

08

高频数据降噪 清洗

简单移动平均、指数加权移动平均、小波降噪、卡尔曼滤波在高频数据中的应用

→

09

高频数据特征工程总览 特征

特征分类（统计、时序、微观结构）、特征设计原则、特征存储与更新

→

10

基础统计特征 特征

滚动均值、滚动标准差、滚动偏度、滚动峰度、滚动最大值、最小值、极差

→

11

价格衍生特征 特征

收益率（简单、对数）、价格差、价格比、日内价格路径特征

→

12

成交量特征 特征

VWAP、成交量变化率、成交量分布特征、大单识别特征

→

13

买卖压力特征 特征

买卖盘口深度（Bid/Ask Size）、买卖盘口价差（Spread）、订单簿不平衡指标（OIB）

→

14

波动率特征 特征

已实现波动率、Parkinson波动率、Garman-Klass波动率、日内波动率曲线

→

15

微观结构特征 特征

买卖价差、有效价差、价格冲击系数、Amihud非流动性指标、Kyle's Lambda

→

16

时序滞后特征 特征

滞后收益率、滞后成交量、滞后波动率、ACF特征、PACF特征

→

17

滚动窗口特征 特征

滚动相关系数、滚动协方差、滚动Beta、滚动夏普比率、滚动最大回撤

→

18

分位数与分布特征 特征

滚动分位数（25%、50%、75%）、分位数区间、分布形状特征（偏度、峰度）

→

19

时间特征 特征

交易时段特征（开盘、收盘、午休）、星期几效应、月份效应、节假日效应、隔夜跳空特征

→

20

订单簿特征 特征

订单簿斜率、订单簿压力、买卖盘口价差动态、订单簿深度曲线、订单簿重建与快照特征

→

21

逐笔成交特征 特征

逐笔成交方向识别（Tick Test、Lee-Ready）、逐笔成交金额、逐笔成交间隔、大单拆分识别

→

22

高频因子构建 进阶

动量因子、反转因子、流动性因子、波动率因子、价差因子、因子正交化与去冗余

→

23

特征选择方法 进阶

过滤法（方差阈值、相关系数、互信息）、包裹法（RFE）、嵌入法（Lasso、树模型）

→

24

特征降维 进阶

PCA、LDA、t-SNE、UMAP在高频特征中的应用

→

25

特征标准化与归一化 进阶

Z-score标准化、Min-Max归一化、Robust标准化、高频场景下的滚动标准化

→

26

特征存储与版本管理 进阶

存储格式（Parquet、HDF5）、特征数据库（Feast、Hopsworks）、特征版本控制与回滚

→

27

高频数据管道构建 进阶

数据采集->清洗->特征工程->存储->模型训练全流程、Kafka/Flink实时处理、批流结合

→

28

性能优化与并行计算 进阶

向量化操作（NumPy、Pandas）、多进程/多线程、Dask/Ray分布式计算、GPU加速

→

29

实战案例一：股票Tick级数据 实战

从原始Tick数据到分钟级特征矩阵完整流程、回测框架集成

→

30

实战案例二：期货高频特征工程 实战

期货特有特征（持仓量、基差、跨期价差）、夜盘数据处理、高频策略特征验证

→