4、数据基础设施：数据源类型（行情、财务、另类）、数据清洗、对齐、存储与版本管理

量化研究的第一步并非策略逻辑，而是数据。数据基础设施决定了研究的可信度、回测的有效性与实盘的一致性。本章围绕数据源类型、清洗方法、对齐机制、存储方案与版本管理五个核心环节展开，帮助学员建立一套可复用、可审计、可回溯的数据工程框架。

4.1 数据源类型：从行情到另类

核心原理：量化研究的数据源可划分为四大类，每类数据在投资决策中扮演不同角色。行情数据是价格发现的基础，财务数据提供基本面锚点，另类数据带来信息增量，参考数据则保证研究框架的完整性。

操作流程：选择数据源时，建议按以下步骤评估：

1. 覆盖度验证：检查历史起始时间、标的数量、字段完整性，尤其注意退市股票是否保留。
2. 质量抽检：随机抽取10个标的、3个时间段，对比不同供应商的数据差异。
3. 更新时效测试：记录数据落地延迟，判断是否满足策略调仓频率要求。
4. 成本与授权确认：明确商业使用权限，避免研究合规风险。

4.2 数据清洗：从原始到可用

核心原理：原始数据通常存在缺失、异常、重复、单位不一致等问题。清洗的目标不是“完美”，而是“可分析”——在保留有效信息的同时，消除会扭曲统计结果的噪声。

关键清洗操作：

• 缺失值处理：对于时间序列，优先使用前向填充（如停牌日价格沿用前值）；对于财务数据，可使用行业均值或剔除处理。需记录缺失率，若超过30%则考虑剔除该字段。
• 异常值检测：采用MAD（中位数偏差）方法，将偏离中位数超过3倍MAD的观测值标记为异常。对于行情数据，还需结合涨跌停限制、价格非负等业务逻辑校验。
• 复权处理：因子计算通常使用前复权数据（保持最新价格不变），而回测撮合建议使用后复权或原始价格加复权因子，避免未来函数。
• 去重与排序：按“代码+时间戳”去重，确保每个标的在每个时点只有一条记录。

# 清洗流程伪代码示例
def clean_market_data(df):
    # 1. 去重
    df = df.drop_duplicates(subset=['symbol', 'datetime'])
    # 2. 排序
    df = df.sort_values(['symbol', 'datetime'])
    # 3. 缺失值前向填充（按标的分组）
    df['close'] = df.groupby('symbol')['close'].ffill()
    # 4. 异常值检测（MAD方法）
    med = df['close'].median()
    mad = (df['close'] - med).abs().median()
    df['close'] = df['close'].mask((df['close'] - med).abs() > 3 * 1.4826 * mad)
    # 5. 业务逻辑校验
    df = df[(df['close'] > 0) & (df['volume'] >= 0)]
    return df

4.3 数据对齐：时间、标的与频率

核心原理：多源数据必须对齐到统一的分析框架，否则会产生“未来函数”或“幸存者偏差”。对齐包含三个维度：时间对齐、标的对齐、频率对齐。

对齐操作流程：

1. 时间对齐：以交易日历为基准，将非交易日数据剔除或前向填充。对于分钟数据，需明确时区（北京时间）和集合竞价时段处理规则。
2. 标的对齐：建立统一的证券代码映射表（如Wind代码转ISIN），处理退市、更名、暂停上市等情况。回测时需使用“当时可得”的标的池，避免引入未来信息。
3. 频率对齐：高频数据降频时，使用“最后价格”作为该周期收盘价，使用“成交量之和”作为周期总量；低频数据升频时，通常使用前向填充或插值，但需注意插值会引入平滑偏差。

4.4 存储与版本管理：可回溯的数据资产

核心原理：数据存储需兼顾读写性能、压缩比与版本可追溯性。推荐使用列式存储格式（Parquet/Arrow）配合分层目录结构，同时引入数据版本控制工具（如DVC、Delta Lake）管理数据快照。

推荐存储架构：

版本管理要点：

• 数据快照：每次清洗逻辑变更时，生成新的数据版本，并记录清洗规则、代码版本、运行时间。
• 血缘追踪：记录每个特征字段的来源表、清洗函数、参数，确保可回溯。
• 回滚机制：当发现清洗逻辑错误时，可快速回滚到上一版本，避免重新全量计算。

4.5 案例拆解：数据错误导致的策略失效复盘

背景：某中频Alpha策略在实盘运行3个月后，绩效显著低于回测。回测年化收益18%，实盘仅6%，且回撤加大。

排查过程：

1. 初步检查：确认策略代码、参数与回测一致，排除逻辑变更。
2. 数据对比：对比回测时使用的数据快照与实盘数据源，发现财务数据更新延迟——回测使用了“修正后”的财报数据，而实盘使用的是“初值”财报数据。
3. 根因定位：财务数据供应商会在财报发布后数日内进行修正（如会计调整、数据录入错误修正）。回测时误用了修正后的数据，导致因子值虚高。
4. 影响量化：约23%的因子值存在显著差异，其中盈利质量因子受影响最大。

解决方案：

• 在数据清洗层增加“财报版本标记”，区分初值、修正值、终值。
• 回测时强制使用“财报发布日可得版本”，模拟真实信息环境。
• 建立数据质量监控看板，每日对比不同版本数据差异，超过阈值自动告警。

复盘经验：数据版本管理不仅是存储问题，更是策略逻辑的一部分。任何数据修正都可能影响因子有效性，必须建立“数据版本-策略版本”的联合追踪机制。