3. 高频数据存储与读取：高效存储格式（Parquet、HDF5）、使用Python读取高频数据、数据压缩与索引优化

高频数据具有海量、高维度、时间序列密集的特征。以国内期货市场为例，单日Tick级数据（含逐笔成交与逐笔委托）可达数千万至数亿条记录。若采用CSV或JSON等文本格式存储，不仅磁盘占用巨大，读写性能也无法满足回测与实盘分析的需求。本章聚焦于两种工业级存储格式——Parquet与HDF5，并深入讲解Python生态下的读写优化、压缩策略与索引设计。

3.1 高频数据存储的核心挑战

在Champion-Challenger框架中，高频数据存储需同时满足以下约束：

3.2 高效存储格式对比：Parquet vs HDF5

两种格式在量化金融领域均有广泛应用，但设计哲学与适用场景存在显著差异。

3.3 使用Python读取高频数据

3.3.1 Parquet读写实战

推荐使用pandas + pyarrow引擎，兼顾性能与易用性。

import pandas as pd
import pyarrow.parquet as pq

# 写入Parquet（自动压缩）
df_tick = pd.read_csv('tick_data.csv')
df_tick.to_parquet(
    'tick_data.parquet',
    engine='pyarrow',
    compression='zstd',      # ZSTD压缩比与速度平衡
    row_group_size=100000    # 每10万行一个Row Group，优化读取粒度
)

# 读取指定列与时间范围（谓词下推）
df_read = pd.read_parquet(
    'tick_data.parquet',
    engine='pyarrow',
    columns=['time', 'symbol', 'last_price', 'volume'],
    filters=[('time', '>=', '2024-01-01 09:30:00'),
             ('time', '<=', '2024-01-01 10:00:00')]
)

3.3.2 HDF5读写实战

使用pytables（pd.HDFStore）或h5py。对于高频数据，推荐固定宽度表格格式（Table）以提升查询速度。

import pandas as pd

# 写入HDF5（固定表格格式，支持索引）
with pd.HDFStore('tick_data.h5', mode='w', complevel=5, complib='zlib') as store:
    store.append(
        'tick',
        df_tick,
        index=False,
        data_columns=['time', 'symbol', 'last_price'],
        min_itemsize={'symbol': 10}   # 固定字符串长度，避免碎片
    )

# 读取（按时间索引查询）
with pd.HDFStore('tick_data.h5', mode='r') as store:
    df_query = store.select(
        'tick',
        where='time >= "2024-01-01 09:30:00" & time <= "2024-01-01 10:00:00"'
    )

3.4 数据压缩策略

高频数据压缩需在压缩比与解压速度之间权衡。以下为常用压缩算法对比：

3.5 索引优化：加速高频数据查询

高频数据查询通常涉及时间范围与合约代码两个维度。合理的索引设计可将查询耗时从分钟级降至毫秒级。

3.5.1 Parquet索引策略

• 分区（Partitioning）：按日期或合约代码分区，避免扫描无关文件。
• Row Group统计信息：Parquet自动在每个Row Group中记录min/max值，查询引擎利用统计信息跳过不相关Group。
• 排序（Sorting）：写入前按time + symbol排序，使相邻时间数据物理连续，提升谓词下推效率。

# 按日期分区写入
df_tick['date'] = df_tick['time'].dt.date
df_tick.to_parquet(
    'tick_partitioned',
    engine='pyarrow',
    partition_cols=['date', 'symbol'],
    compression='zstd'
)

# 读取时自动只扫描相关分区
df_read = pd.read_parquet(
    'tick_partitioned',
    filters=[('date', '==', pd.Timestamp('2024-01-01').date()),
             ('symbol', '==', 'IF2401')]
)

3.5.2 HDF5索引策略

• 数据列索引（Data Columns）：在store.append()中指定data_columns，pytables会自动为这些列创建B-Tree索引。
• 复合索引：对time与symbol建立复合索引，加速多条件查询。
• 分块大小（Chunksize）：根据典型查询窗口设置分块大小（如每块包含1分钟数据），减少IO次数。

# 创建复合索引
with pd.HDFStore('tick_data.h5', mode='a') as store:
    store.create_table_index('tick', columns=['time', 'symbol'], kind='full')

# 查询时自动使用索引
df_query = store.select(
    'tick',
    where='time >= "2024-01-01 09:30:00" & symbol = "IF2401"'
)

3.6 高频数据存储架构总览

下图展示了从行情接入到回测读取的完整数据流与存储选型：

3.7 实战对比：不同存储方案的性能基准

以下为基于某期货品种全量Tick数据（约5000万行，12列）的实测结果：

3.8 最佳实践总结

• 写入前排序：按time + symbol排序后再写入，可大幅提升压缩比与查询效率。
• 合理分区：按日期分区，避免单文件过大；每个分区文件控制在500MB-2GB之间。
• 选择合适压缩：回测数据用ZSTD，实时流用Snappy/LZ4。
• 善用谓词下推：在读取时指定columns与filters，让存储引擎提前过滤，减少IO。
• 定期维护：HDF5需定期执行reclaim()回收碎片空间；Parquet无需维护，但可重写以优化Row Group布局。