2. 数据源分类与选择标准
回测实验的成败，首先取决于数据源的质量与适用性。不同数据源在覆盖范围、时效性、成本与清洗难度上差异显著。本章系统梳理四大类数据源，并给出可量化的评估框架，帮助你在实验设计阶段做出合理的数据选型决策。
2.1 交易所数据
交易所直接发布的原始行情与交易数据，是回测的“黄金标准”。其特点是权威性最高、延迟最低，但通常仅提供基础字段，且历史数据获取成本较高。
| 数据子类 | 典型字段 | 获取方式 | 注意事项 |
|---|---|---|---|
| Level-1 快照 | 最新价、涨跌幅、成交量、五档买卖 | 交易所官网 / 授权行情商 | 频率通常 3s 一次，不适合高频回测 |
| Level-2 逐笔 | 逐笔成交、逐笔委托、十档行情 | 付费 API / 专线 | 数据量巨大，需压缩存储 |
| 衍生品数据 | 期货连续合约、期权链、基差 | 交易所结算文件 | 注意合约换月与复权处理 |
| 盘后统计 | 持仓量、换手率、融资融券余额 | 交易所每日公告 | 适合低频因子计算 |
实践建议： 优先使用交易所 Level-1 数据做日频回测，Level-2 数据仅用于高频策略或微观结构研究。切勿将模拟撮合数据当作真实交易所数据使用。
2.2 第三方数据商
第三方数据商对原始数据进行清洗、对齐、衍生计算，是量化团队最常用的数据来源。选择时需重点考察其数据覆盖度、更新时效与历史数据回溯长度。
- 综合型数据商（如 Wind、Bloomberg、Quandl）：覆盖股票、债券、期货、基金、宏观指标，适合多资产回测。
- 专业型数据商（如 TickData、Kibot、Polygon）：专注高频 tick 数据或特定市场，适合精细化回测。
- 开源/社区数据（如 Yahoo Finance、Alpha Vantage、AKShare）：免费或低成本，适合原型验证，但数据质量参差不齐。
风险提示： 第三方数据普遍存在“幸存者偏差”——退市股票、停牌期间的数据可能被剔除。回测前必须做存活偏差校正，否则会高估策略表现。
2.3 另类数据
另类数据指非传统金融数据源，用于挖掘传统数据无法捕捉的 alpha 信号。近年来在量化对冲基金中应用快速增长。
| 类别 | 示例 | 数据粒度 | 典型应用 |
|---|---|---|---|
| 卫星图像 | 停车场车流量、农作物长势 | 日 / 周 | 零售股营收预测、大宗商品产量估算 |
| 网络爬虫 | 电商价格、招聘岗位数、新闻情感 | 小时 / 日 | CPI 预测、行业景气度跟踪 |
| 支付数据 | 信用卡消费流水、POS 机交易 | 日 / 周 | 消费类股票高频因子 |
| 供应链数据 | 船运 AIS 信号、海关报关单 | 实时 / 日 | 制造业库存周期、贸易摩擦影响 |
关键认知： 另类数据的价值在于“信息增量”，而非数据量本身。回测前必须验证数据与收益率之间的因果逻辑，避免过拟合伪相关。
2.4 数据源选择标准与评估
选择数据源时，建议从以下六个维度进行量化评分，形成可复用的评估矩阵。
| 评估维度 | 权重参考 | 评分标准（1-5 分） | 数据源 A | 数据源 B |
|---|---|---|---|---|
| 完整性 | 25% | 5=无缺失，4=缺失<1%，3=缺失<5%，2=缺失<10%，1=缺失≥10% | 5 | 3 |
| 准确性 | 25% | 5=与交易所一致，4=误差<0.1%，3=误差<0.5%，2=误差<1%，1=误差≥1% | 5 | 4 |
| 时效性 | 15% | 5=实时，4=延迟<1min，3=延迟<1h，2=延迟<1d，1=延迟≥1d | 3 | 5 |
| 历史长度 | 15% | 5=≥20年，4=≥10年，3=≥5年，2=≥2年，1=<2年 | 5 | 2 |
| 成本 | 10% | 5=免费，4=低成本，3=中等，2=高成本，1=极高成本 | 2 | 5 |
| 易用性 | 10% | 5=API 文档完善，4=需少量处理，3=需中等清洗，2=需大量清洗，1=原始文件无结构 | 4 | 3 |
评估流程： 对每个候选数据源按上述维度打分，加权求和后排序。建议至少选择两个独立数据源做交叉验证，避免单一数据源的系统性偏差。
2.5 数据源选择决策流程
下图展示了从策略需求到数据源选型的完整决策路径，帮助你在实际项目中快速定位合适的数据来源。
2.6 数据源组合策略
在实际回测工程中，单一数据源往往无法满足所有需求。推荐采用“主数据源 + 辅助数据源”的组合策略，兼顾质量与成本。
- 主数据源：选择完整性、准确性评分最高的数据商，用于核心回测计算。
- 辅助数据源：选择成本较低或覆盖另类维度的数据源，用于因子补充与交叉验证。
- 数据对齐：不同数据源的时间戳、复权方式、除息除权规则必须统一，否则回测结果不可比。
工程实践： 建议在数据入库阶段建立“数据血缘”记录——每个字段的来源、清洗规则、版本号。当回测结果出现异常时，可快速定位是数据问题还是策略问题。
2.7 数据源评估报告模板
每次引入新数据源时，建议填写以下评估报告，形成团队共享的数据资产目录。
| 评估项目 | 填写内容 |
|---|---|
| 数据源名称 | 例：Wind 金融终端 A股日频行情 |
| 数据覆盖范围 | 股票 / 债券 / 期货 / 基金 / 指数 |
| 历史数据起始日期 | YYYY-MM-DD |
| 更新频率 | 实时 / 每日盘后 / 每周 |
| 数据格式 | CSV / Parquet / API JSON / 数据库直连 |
| 完整性检查结果 | 缺失率：X% |
| 准确性检查结果 | 与交易所数据对比误差：X% |
| 成本（年费） | ¥XXXXX |
| 使用限制 | 是否允许本地存储 / 是否限制调用次数 |
| 评估结论 | 推荐 / 有条件推荐 / 不推荐 |
维护建议： 数据源评估不是一次性工作。建议每季度重新评估一次，因为数据商的服务质量、数据覆盖、定价策略都可能发生变化。