4. 数据获取与存储：从交易所API获取实时行情、CSV/Parquet/HDF5存储方案对比

高频行情数据是量化模型的“原油”。本章聚焦两个核心环节：实时行情获取（以WebSocket协议对接交易所API）与本地存储方案（CSV、Parquet、HDF5三者的性能与适用场景对比）。掌握这两部分，你才能构建稳定、高效的数据管道。

4.1 实时行情获取：WebSocket 架构

高频场景下，RESTful轮询延迟高、带宽浪费严重，必须使用WebSocket全双工通信。交易所通常提供两种数据流：

• 深度增量（Depth Delta）：只推送买卖盘口的变化部分，数据量小、延迟低。
• 逐笔成交（Trade）：每笔成交的详细记录，用于重构Tick级订单流。

以下是一个使用 websockets 库订阅币安现货深度增量的核心代码片段：

import asyncio
import json
import websockets

BINANCE_WS = "wss://stream.binance.com:9443/ws"
SYMBOL = "btcusdt"

async def subscribe_depth():
    async with websockets.connect(BINANCE_WS) as ws:
        # 订阅深度增量流
        sub_msg = {
            "method": "SUBSCRIBE",
            "params": [f"{SYMBOL}@depth@100ms"],
            "id": 1
        }
        await ws.send(json.dumps(sub_msg))
        # 持续接收
        while True:
            msg = await ws.recv()
            data = json.loads(msg)
            # 处理增量数据（更新本地订单簿）
            process_depth_update(data)

def process_depth_update(data):
    # 示例：提取bids/asks增量
    bids = data.get('b', [])
    asks = data.get('a', [])
    # 更新本地OrderBook对象
    # ...

4.2 存储方案对比：CSV vs Parquet vs HDF5

高频行情数据具有海量、时序、结构化三大特征。选择存储格式时，需权衡读写速度、压缩比、可扩展性与生态兼容性。下表从关键维度进行对比：

4.3 存储方案选择流程图

下图展示了从行情接收到存储落盘的技术选型决策路径：

4.4 实战代码：Parquet 增量写入

以下示例展示如何将实时行情数据以按天分区的方式写入Parquet文件，避免单文件过大：

import pandas as pd
import pyarrow.parquet as pq
from pathlib import Path
from datetime import datetime

BASE_DIR = Path("/data/hft/btcusdt")

def write_tick_to_parquet(tick_data: dict):
    """将单条tick数据追加写入当日分区Parquet文件"""
    # 生成分区路径：/data/hft/btcusdt/date=2025-04-01/
    dt = datetime.fromtimestamp(tick_data['timestamp'] / 1000)
    partition_path = BASE_DIR / f"date={dt.strftime('%Y-%m-%d')}"
    partition_path.mkdir(parents=True, exist_ok=True)

    file_path = partition_path / "ticks.parquet"

    # 构造DataFrame
    df = pd.DataFrame([tick_data])

    # 若文件已存在，追加；否则新建
    if file_path.exists():
        existing = pq.read_table(file_path)
        combined = existing.to_pandas().append(df, ignore_index=True)
        combined.to_parquet(file_path, index=False, compression='snappy')
    else:
        df.to_parquet(file_path, index=False, compression='snappy')

4.5 存储方案性能实测对比

以下测试基于1000万条模拟Tick数据（包含时间戳、价格、数量、买卖方向），在相同硬件下的读写耗时与磁盘占用：

4.6 数据存储架构总览

下图展示从交易所到本地存储的完整数据管道：

4.7 避坑指南

• 时间戳对齐：交易所返回的时间戳通常是毫秒或微秒级，务必统一转为UTC+0的datetime64[ns]存储，避免时区混乱。
• 数据完整性校验：每批次写入前检查序列号是否连续，若发现缺失需从交易所重新拉取快照修复。
• 文件命名规范：建议格式 symbol_date_hour.parquet，便于按时间范围快速定位与清理。
• 压缩选择：Parquet推荐Snappy（平衡速度与压缩比）；HDF5推荐LZF（解压快）或Gzip（压缩率高）。