4. Tick数据读取：Python读取Tick数据（Pandas, Dask, PyArrow）、内存优化与分块读取

高频行情数据以“逐笔Tick”形式记录每一笔订单簿变动或成交明细，单日单品种数据量可达数百万至数千万行。直接使用 pd.read_csv() 加载全量数据极易导致内存溢出（OOM）或 I/O 瓶颈。本章系统讲解三种主流读取方案（Pandas、Dask、PyArrow），并给出内存优化与分块读取的工程实践。

4.1 Tick数据文件特征与读取挑战

4.2 方案一：Pandas 分块读取 + 类型优化

Pandas 提供 chunksize 参数实现迭代式分块加载，配合 dtype 指定列类型可大幅降低内存。

import pandas as pd

# 定义列类型字典，避免自动推断
dtype_dict = {
    'symbol': 'category',
    'side': 'category',
    'price': 'float32',
    'volume': 'int32',
    'bid_price': 'float32',
    'ask_price': 'float32',
    'bid_size': 'int32',
    'ask_size': 'int32'
}

# 分块读取，每块 100 万行
chunk_list = []
for chunk in pd.read_csv(
    'tick_data.csv',
    chunksize=1_000_000,
    dtype=dtype_dict,
    parse_dates=['timestamp'],
    low_memory=False
):
    # 可在此处做过滤或聚合
    chunk_list.append(chunk)

df = pd.concat(chunk_list, ignore_index=True)
print(f"加载完成，共 {len(df):,} 行，内存占用 {df.memory_usage(deep=True).sum() / 1024**2:.2f} MB")

4.3 方案二：Dask 延迟计算与并行读取

Dask DataFrame 模仿 Pandas API，但将数据划分为多个分区（partition），支持延迟计算和并行 I/O，适合超大规模 Tick 数据。

import dask.dataframe as dd

# 读取为 Dask DataFrame，自动分区
ddf = dd.read_csv(
    'tick_data_*.csv',           # 支持通配符
    dtype=dtype_dict,
    parse_dates=['timestamp'],
    blocksize='256MB'            # 每个分区约 256 MB
)

# 执行计算（触发实际读取）
df_result = ddf.compute()
print(f"分区数: {ddf.npartitions}")

# 或仅计算聚合结果，避免加载全量
daily_stats = ddf.groupby('symbol').agg(
    total_volume=('volume', 'sum'),
    avg_price=('price', 'mean')
).compute()

4.4 方案三：PyArrow 零拷贝读取与列式格式

PyArrow 提供高性能列式读取引擎，支持 CSV、Parquet、Feather 格式，且与 Pandas 零拷贝互转。推荐将 Tick 数据转为 Parquet 格式后读取。

import pyarrow as pa
import pyarrow.parquet as pq
import pandas as pd

# 方式1：直接读取 CSV（使用 PyArrow 引擎）
df = pd.read_csv(
    'tick_data.csv',
    engine='pyarrow',
    dtype_backend='pyarrow',
    dtype=dtype_dict,
    parse_dates=['timestamp']
)

# 方式2：读取 Parquet（推荐）
table = pq.read_table(
    'tick_data.parquet',
    columns=['timestamp', 'price', 'volume', 'side'],
    filters=[('symbol', '=', 'IF2409')]  # 下推过滤
)
df = table.to_pandas()

# 方式3：分块读取 Parquet
pf = pq.ParquetFile('tick_data.parquet')
for i in range(pf.metadata.num_row_groups):
    table = pf.read_row_group(i)
    chunk_df = table.to_pandas()
    process(chunk_df)

4.5 内存优化核心技巧

• 列类型降级：使用 pd.to_numeric(..., downcast='integer'/'float') 或手动指定 dtype。
• 类别编码：将低基数字段（symbol、exchange、side）转为 category 类型。
• 时间戳压缩：使用 datetime64[ns] 或转为 int64 纳秒计数。
• 只读必要列：通过 usecols 参数仅加载分析所需的列。
• 过滤下推：在读取阶段使用 filters 参数（PyArrow/Dask）提前过滤行。

# 综合优化示例：只读必要列 + 类型降级 + 分块
optimized_dtype = {
    'price': 'float32',
    'volume': 'int32',
    'side': 'category'
}

df_opt = pd.read_csv(
    'tick_data.csv',
    usecols=['timestamp', 'price', 'volume', 'side'],
    dtype=optimized_dtype,
    parse_dates=['timestamp'],
    chunksize=500_000
)

# 逐块处理，避免全量驻留
for chunk in df_opt:
    # 实时计算或写入数据库
    pass

4.6 三种方案选型决策流程

4.7 实战建议与性能基准