1. 高频行情数据概述：Tick级与快照级数据的定义、数据频率、数据量级与存储挑战
1.1 高频行情数据的核心分类
高频行情数据是量化交易与特征工程的“原材料”，其粒度直接决定了策略的精度与计算复杂度。根据数据生成机制与更新频率，主要分为以下两类：
| 数据类别 | 定义 | 典型数据频率 | 数据内容 | 主要用途 |
|---|---|---|---|---|
| Tick级数据 | 逐笔成交与逐笔委托数据，记录每一笔独立发生的交易或订单事件。 | 微秒级（μs） （1μs = 10⁻⁶s） |
成交价、成交量、成交方向（买/卖）、逐笔委托挂单明细、订单编号、时间戳（精确到微秒）。 | 微观市场结构分析、订单流不平衡、高频做市策略、逐笔冲击成本估算。 |
| 快照级数据 | 在特定时间点对市场状态（如买卖盘口、最新成交价）的完整切片。 | 毫秒级（ms） （1ms = 10⁻³s） |
买一至买N档价格与数量、卖一至卖N档价格与数量、最新价、当日成交量、持仓量（期货）。 | 盘口动态特征、价差分析、流动性评估、中低频策略信号生成。 |
关键区分：Tick级数据是“事件驱动”的，有交易发生才产生；快照级数据是“时间驱动”的，按固定间隔（如每100ms）生成。在特征工程中，Tick级数据能提供更精细的微观结构信息，但噪声也更大。
1.2 数据频率与时间精度对比
高频行情的时间精度是区分不同策略层级的关键指标。以下对比展示了从低频到超高频的时间尺度差异：
- 秒级（1s）：传统分钟线或秒线聚合，适用于日内趋势跟踪。
- 毫秒级（1ms ~ 100ms）：快照数据常见频率，可捕捉盘口微观变化，适用于统计套利与算法交易。
- 微秒级（1μs ~ 100μs）：Tick级数据精度，可还原订单簿逐笔变化，适用于高频做市与延迟套利。
- 纳秒级（1ns ~ 100ns）：硬件时间戳精度，通常用于交易所内部撮合引擎或FPGA策略，软件层面难以稳定达到。
1.3 数据量级与存储挑战
高频行情的数据量级远超传统日线或分钟线数据，给存储、传输与计算带来了巨大挑战。以下以A股市场为例进行估算：
| 数据维度 | Tick级数据（逐笔成交） | 快照级数据（盘口5档） |
|---|---|---|
| 单只股票日均数据量 | 约 50万 ~ 200万 条 | 约 2万 ~ 10万 条（取决于快照频率） |
| 全市场（约4000只股票）日均数据量 | 约 20亿 ~ 80亿 条 | 约 0.8亿 ~ 4亿 条 |
| 单日原始存储空间（压缩前） | 约 200GB ~ 800GB | 约 10GB ~ 50GB |
| 单日存储空间（压缩后，如使用Parquet） | 约 20GB ~ 80GB | 约 1GB ~ 5GB |
| 一年全市场存储需求（压缩后） | 约 5TB ~ 20TB | 约 250GB ~ 1.25TB |
存储挑战核心痛点：
- I/O瓶颈：每天数十亿条数据的写入与读取，传统关系型数据库（如MySQL）难以胜任，必须使用列式存储（如Parquet、Arrow）或时序数据库（如InfluxDB、ClickHouse）。
- 内存占用：高频特征计算通常需要将一段时间窗口（如1秒、10秒）的Tick数据加载到内存，单只股票1秒内的Tick数据可能包含数百条记录，全市场实时计算时内存压力极大。
- 时间戳对齐：不同数据源（交易所、第三方）的时间戳精度与基准可能不一致，导致数据对齐困难，影响特征计算的准确性。
- 数据清洗成本：高频数据中存在大量噪声（如撤单、异常报价、数据缺失），清洗规则复杂且计算开销大。
1.4 数据存储架构概览
为了应对上述挑战，业界通常采用分层存储与混合计算架构。以下示意图展示了典型的高频行情数据存储与处理流程：
1.5 数据量级对特征工程的直接影响
理解数据量级与存储挑战，是后续进行特征工程优化的前提。以下是几个关键影响点：
- 特征计算窗口选择：数据量过大时，必须限制特征计算的时间窗口（如仅使用最近100ms的Tick数据），否则内存与计算延迟会失控。
- 降采样与聚合策略：并非所有策略都需要微秒级精度。在特征工程中，需要根据策略目标合理选择降采样频率（如将Tick数据聚合为1ms快照），以平衡信息损失与计算效率。
- 增量计算与状态复用：高频特征计算应避免每次从头扫描全量数据，而是采用增量更新（如滑动窗口、指数移动平均），将计算复杂度从O(N)降低到O(1)。
- 数据压缩与编码：在存储与传输环节，使用高效的二进制编码（如Cap'n Proto、FlatBuffers）或列式压缩格式，可显著降低I/O开销。