📚 课程目录第4章 Tick数据存储与读取

4. Tick数据存储与读取：CSV、Parquet、HDF5与Python读取方法

高频Tick数据具有海量、高维度、时间序列密集的特点。选择正确的存储格式与读取工具，直接影响策略回测效率与数据管道稳定性。本节从存储格式对比、读写性能、Python生态集成三个维度展开。

4.1 三种主流存储格式对比

特性	CSV	Parquet	HDF5
存储类型	纯文本	列式二进制	分层二进制
压缩率	低（无原生压缩）	高（Snappy/Zstd）	高（LZF/Gzip）
读取速度（全列）	慢（逐行解析）	快（列裁剪+谓词下推）	快（分块索引）
读取速度（选列）	仍需解析整行	极快（只读所需列）	快（按数据集读取）
元数据支持	无	Schema内嵌	属性+组结构
跨语言兼容	通用	广泛（Spark/Flink/Pandas）	有限（Python/Matlab/C）
适用场景	小样本调试、人工检查	生产级回测、大数据管道	科研存储、复杂分层数据

选型建议： 日常策略开发优先使用 Parquet；需要与外部系统交换或人工审核时用 CSV；只有需要存储多维数组或复杂嵌套结构时才考虑 HDF5。

4.2 存储格式与读取流程架构

下图展示了从原始Level2 Tick数据到策略回测引擎的完整存储与读取链路，以及三种格式在管道中的位置。

4.3 CSV格式存储与读取

CSV是最通用的交换格式，但Tick数据量巨大时读写效率低。建议仅用于小样本调试或数据导出。

4.3.1 写入CSV

import pandas as pd

# 假设df为包含Level2 Tick数据的DataFrame
df.to_csv('tick_data_20250101.csv', index=False, compression=None)
# 若文件过大，可启用gzip压缩
df.to_csv('tick_data_20250101.csv.gz', index=False, compression='gzip')

4.3.2 读取CSV

# 基础读取（单日数据）
df = pd.read_csv('tick_data_20250101.csv', parse_dates=['timestamp'])

# 分块读取（避免内存溢出）
chunk_iter = pd.read_csv('tick_data_20250101.csv', chunksize=500000)
for chunk in chunk_iter:
    # 逐块处理
    process_chunk(chunk)

避坑提示： CSV无Schema约束，时间戳列需手动指定 parse_dates；浮点精度可能丢失；大文件读取时务必使用 chunksize 或 dtype 指定列类型以节省内存。

4.4 Parquet格式存储与读取

Parquet是生产环境的首选格式。列式存储+谓词下推使得只读取所需列时性能提升10-100倍。

4.4.1 写入Parquet

# 单文件写入
df.to_parquet('tick_data_20250101.parquet', compression='snappy')

# 按日期分区写入（推荐）
df['trade_date'] = df['timestamp'].dt.date
df.to_parquet('tick_data_partitioned/', partition_cols=['trade_date'],
              compression='snappy')

4.4.2 读取Parquet

# 全量读取
df = pd.read_parquet('tick_data_20250101.parquet')

# 列裁剪（只读必要字段）
df = pd.read_parquet('tick_data_20250101.parquet',
                     columns=['timestamp', 'price', 'volume'])

# 谓词下推（只读特定股票）
df = pd.read_parquet('tick_data_partitioned/',
                     filters=[('stock_code', '==', '600519')])

4.5 HDF5格式存储与读取

HDF5适合存储多层级、多维数组结构，例如按股票代码分组存储Tick数据，并附带计算指标。

4.5.1 写入HDF5

# 按股票代码分组存储
with pd.HDFStore('tick_data.h5', mode='w', complevel=5, complib='blosc') as store:
    for code, group_df in df.groupby('stock_code'):
        store.put(f'stocks/{code}', group_df, format='table',
                  data_columns=['timestamp', 'price', 'volume'])

4.5.2 读取HDF5

# 读取单只股票数据
df = pd.read_hdf('tick_data.h5', key='stocks/600519')

# 条件查询（HDF5支持类SQL查询）
df = pd.read_hdf('tick_data.h5', key='stocks/600519',
                 where='timestamp > "2025-01-01 09:30:00" & price > 180.0')

  性能对比实测（100万行Tick数据）：

  CSV读取：约 2.3 秒（全列）

  Parquet读取（列裁剪）：约 0.12 秒

  HDF5读取（条件过滤）：约 0.18 秒

  结论：Parquet在列裁剪场景下优势明显，HDF5在复杂条件查询时表现稳定。

4.6 Python读取方法：Pandas vs Dask

当单日Tick数据超过内存容量时，需引入Dask进行分布式或惰性计算。

特性	Pandas	Dask
数据规模	单机内存（建议 < 8GB）	磁盘+集群（TB级）
执行模式	立即执行（Eager）	惰性执行（Lazy）
API兼容性	原生DataFrame API	模仿Pandas API（约90%覆盖）
并行能力	单线程（可配合modin）	多线程/多进程/分布式
适用场景	单日回测、策略原型	多日全市场回测、数据管道

4.6.1 Dask读取Parquet示例

import dask.dataframe as dd

# 惰性加载（不立即读入内存）
ddf = dd.read_parquet('tick_data_partitioned/',
                       columns=['timestamp', 'price', 'volume'],
                       filters=[('stock_code', '==', '600519')])

# 执行计算（触发实际读取）
result = ddf.compute()

# 或进行聚合后只返回小结果
avg_price = ddf['price'].mean().compute()

4.6.2 Dask读取CSV（超大文件）

# 支持通配符和分块
ddf = dd.read_csv('tick_data_*.csv', parse_dates=['timestamp'],
                  blocksize='100MB')  # 每块100MB

# 惰性操作链
ddf_filtered = ddf[ddf['stock_code'] == '600519']
ddf_grouped = ddf_filtered.groupby('stock_code')['price'].mean()
result = ddf_grouped.compute()

最佳实践： 日常策略开发使用 Pandas + Parquet；当数据量超过16GB或需要跨天全市场回测时，切换到 Dask + Parquet 分区存储。避免将CSV作为生产环境的主要存储格式。

4.7 存储与读取决策流程

下图帮助你在实际项目中快速选择存储格式与读取工具。

4.8 本章小结

CSV：适合小样本调试与数据交换，生产环境慎用。
Parquet：生产环境首选，列裁剪+谓词下推大幅提升读取效率。
HDF5：适合复杂分层结构与科研场景，支持条件查询。
Pandas：单机内存级数据处理，与Parquet搭配最佳。
Dask：超大规模数据场景，惰性执行+分布式计算。