📚 课程目录第2章数据源概览

2. 数据源概览：常见金融数据源、数据频率与对齐、数据质量评估

构建组合风险归因训练集的第一步，是系统性地理解可用的数据源及其特性。金融数据源在结构、频率、覆盖范围和质量上差异巨大，直接决定了特征工程的上限。本节从行情、财务、另类三大类数据出发，梳理数据频率对齐策略与质量评估框架。

2.1 常见金融数据源分类

根据数据生成机制与更新频率，金融数据源可划分为以下三大类：

数据类别	典型数据项	更新频率	主要用途
行情数据	开盘价、收盘价、最高价、最低价、成交量、成交额、涨跌幅、换手率	Tick / 分钟 / 日 / 周	收益率计算、波动率建模、流动性指标、市场微观结构
财务数据	营业收入、净利润、每股收益、净资产收益率、资产负债率、现金流	季度 / 半年 / 年度	基本面因子、估值指标、盈利质量、财务健康度
另类数据	舆情情绪、卫星图像、信用卡消费、供应链关系、专利数量、招聘趋势	日 / 周 / 不定期	非结构化信号、事件驱动、行业景气度、竞争格局

实践提示：在风险归因训练集中，行情数据通常作为“被解释变量”或“基准特征”出现；财务数据提供低频但高信息密度的截面特征；另类数据则用于捕捉传统数据无法覆盖的尾部风险信号。三者结合可显著提升模型对极端市场环境的泛化能力。

2.2 数据频率与对齐策略

不同数据源的采样频率天然不一致，直接拼接会导致时间戳错位、信息泄露或特征维度膨胀。下图展示了典型的多频率数据对齐流程：

对齐策略的核心原则包括：

降采样（Downsampling）：将高频行情数据（如分钟频）聚合为日频或周频，使用收盘价、日均成交量、波动率等统计量。
升采样（Upsampling）：将低频财务数据（如季频）前向填充至日频，确保每个交易日都有对应的最新财务指标。
时间戳对齐：统一使用交易所日历，剔除非交易日，确保所有特征在同一时间索引上对齐。
前瞻偏差规避：财务数据使用报告发布日期而非财报截止日期；行情数据使用实际交易时间戳。

常见陷阱：直接使用财务数据的“截止日期”而非“发布日期”进行对齐，会导致训练集中混入未来信息。例如，2024年Q1财报可能在2024年4月底才发布，若使用截止日期2024-03-31对齐，则3月到4月之间的交易日会错误地“提前”获得该财报数据，造成严重的前瞻偏差。

2.3 数据质量评估框架

数据质量直接影响风险归因模型的可靠性。下图从四个维度构建数据质量评估体系：

各维度的具体评估方法与阈值建议如下：

评估维度	评估指标	合格阈值	常见问题
完整性	缺失率、时间跨度覆盖率、字段完整度	缺失率 < 5%；覆盖目标区间 > 95%	停牌期间行情缺失；财报数据延迟发布导致空白区间
准确性	异常值比例、复现一致性、与权威源偏差	异常值 < 1%；复现偏差 < 0.1%	除权除息未调整；数据录入错误（如价格多一个零）
一致性	跨数据源相关系数、单位统一性、定义一致性	跨源相关系数 > 0.99	不同供应商对“营业收入”的计算口径不同；货币单位未统一
时效性	发布延迟、数据新鲜度、更新频率达标率	延迟 < 1个交易日；更新达标率 > 90%	财务数据发布延迟数周；另类数据供应商更新不稳定

工程化建议：在训练集构建流水线中，建议为每个数据源维护一个质量评分日志。当某数据源连续3个评估周期低于阈值时，自动触发告警并暂停该数据源的特征注入，避免污染模型训练。评分日志格式示例：

# 数据质量评分日志示例（CSV格式）
date,source,completeness,accuracy,consistency,timeliness,overall_score,status
2025-01-15,wind_daily,98.2,99.5,99.1,97.8,98.65,pass
2025-01-15,bloomberg_fundamental,95.0,98.7,96.3,88.2,94.55,warn
2025-01-15,alternative_sentiment,92.5,96.1,94.0,85.0,91.90,fail

2.4 数据源选择与组合策略

在实际项目中，数据源的选择需平衡覆盖度、成本与质量。以下为推荐的数据源组合策略：

核心层（必选）：交易所官方行情数据 + 上市公司财报数据。这是风险归因的基础，覆盖所有持仓标的。
增强层（推荐）：行业指数数据 + 宏观经济指标。用于构建市场因子和宏观风险敞口。
扩展层（可选）：另类数据（舆情、供应链、专利等）。用于捕捉非传统风险信号，提升模型在极端事件中的表现。

数据源组合完成后，需进行统一的数据字典管理，确保每个字段的名称、单位、数据类型、更新频率、质量等级在团队内一致。这是后续特征工程可复现性的基础保障。