3、数据源与采集：常见Tick数据提供商、API接入方式与存储格式

Tick数据是量化回测与高频策略的“原油”，其质量直接决定标签校准的可靠性。本节梳理主流数据源、API接入技术选型以及存储格式的优劣，帮助你在构建样本时做出正确的数据工程决策。

3.1 常见Tick数据提供商

根据数据来源层级，Tick数据提供商可分为交易所直连与第三方聚合两大类。下表对比了主流选项的核心特征：

3.2 API接入方式与技术选型

不同数据源提供差异化的API协议。以下从接入效率与可靠性角度对比主流方式：

• FIX/FAST协议（交易所直连）：金融信息交换协议，二进制编码，吞吐量可达每秒百万级消息。适合自建行情网关，但开发成本高。
• RESTful API（第三方量化）：基于HTTP/HTTPS，请求-响应模式。适合批量历史数据下载，不适合实时流式接入。
• WebSocket（实时流式）：全双工通信，适合订阅实时Tick流。Polygon.io、Binance均提供WebSocket端点。
• gRPC（高性能内部）：基于Protobuf序列化，延迟低于REST。部分自建数据中台采用。

以下是一个使用Python通过WebSocket订阅Binance实时Tick的示例：

import asyncio
import websockets
import json

async def subscribe_tick(symbol="btcusdt"):
    uri = "wss://stream.binance.com:9443/ws"
    async with websockets.connect(uri) as ws:
        # 订阅深度流
        subscribe_msg = {
            "method": "SUBSCRIBE",
            "params": [f"{symbol}@depth20@100ms"],
            "id": 1
        }
        await ws.send(json.dumps(subscribe_msg))
        while True:
            msg = await ws.recv()
            # 解析Tick数据，此处可接入校准管道
            print(f"Received: {msg[:200]}...")

asyncio.run(subscribe_tick())

3.3 数据存储格式对比

Tick数据具有高基数、高频率、时间序列密集三大特征，存储格式的选择直接影响读写性能与存储成本。

以下展示同一Tick数据集在CSV与Parquet下的存储对比：

# CSV 存储示例（约 2.3 GB / 百万行）
timestamp,symbol,price,volume,side
2025-03-01 09:30:00.123456,AAPL,172.34,100,BUY
2025-03-01 09:30:00.124001,AAPL,172.35,50,SELL

# Parquet 存储（列式压缩后约 420 MB）
# 使用 PyArrow 写入
import pyarrow as pa
import pyarrow.parquet as pq

table = pa.table({
    "timestamp": timestamps,
    "symbol": symbols,
    "price": prices,
    "volume": volumes,
    "side": sides
})
pq.write_table(table, "ticks.parquet", compression="zstd")

3.4 数据采集架构总览

下图展示了一个典型的Tick数据采集与存储管道，涵盖从交易所到校准样本的完整链路：

3.5 数据质量校验要点

采集后的Tick数据在进入标签校准管道前，必须通过以下质量门禁：

• 时间戳单调性：检查序列中是否存在时间倒挂（backward time），常见于多路合并时。
• 价格合理性：剔除零价格、负价格或超出当日涨跌停范围的异常Tick。
• 重复数据去重：同一交易所同一毫秒的相同价格/成交量记录应合并或标记。
• 缺失段检测：连续Tick间隔超过阈值（如1秒）时，记录Gap位置供后续校准参考。