4、金融数据采集偏差：数据源异构性、数据缺失机制与采集陷阱

金融知识图谱的构建高度依赖多源数据的融合。然而，不同数据源在结构、语义、时效性上的差异，以及数据采集过程中的缺失与错误，会直接导致样本偏差，进而影响下游风控模型的准确性与稳定性。本章系统梳理数据源异构性的典型表现、三种数据缺失机制（MCAR/MAR/MNAR）的识别方法，以及爬虫与API采集中的常见陷阱。

4.1 数据源异构性：结构、语义与粒度的三重挑战

金融数据源通常包括结构化数据库（如银行核心系统）、半结构化文档（如财报XML/JSON）、非结构化文本（如研报、新闻、监管公告）。异构性主要体现在以下三个维度：

4.2 数据缺失机制：MCAR、MAR与MNAR

数据缺失并非随机事件。根据缺失机制与观测数据的关系，统计学家Rubin将缺失数据分为三类。在金融风控场景中，错误判断缺失机制会导致有偏估计与模型误判。

4.3 缺失机制识别：统计检验与可视化方法

在实际项目中，可通过以下步骤初步判断缺失机制：

1. 缺失模式矩阵可视化： 使用热图或缺失树（missingness tree）展示缺失组合模式。
2. 分组均值比较： 将样本按缺失/非缺失分组，比较其他观测变量的均值差异（t检验）。若多个变量存在显著差异，倾向于MAR或MNAR。
3. Little's MCAR检验： 卡方检验，若p值>0.05，不拒绝MCAR假设。
4. 逻辑回归诊断： 以缺失标记为因变量，其他完整变量为自变量建立Logistic回归。若模型显著，则数据非MCAR。

# Python示例：Little's MCAR检验（使用missingno与scipy）
import missingno as msno
import pandas as pd
from scipy.stats import chi2

# 可视化缺失模式
msno.matrix(df)

# 计算缺失指示矩阵
missing_indicator = df.isnull().astype(int)

# 分组比较（示例：收入缺失组 vs 非缺失组的年龄均值）
age_missing = df[df['income'].isnull()]['age']
age_not_missing = df[df['income'].notnull()]['age']
t_stat, p_val = ttest_ind(age_missing, age_not_missing)
print(f"年龄分组t检验p值: {p_val:.4f}")

4.4 爬虫与API采集的常见陷阱

金融数据采集常依赖网络爬虫与API接口。以下陷阱会导致采集偏差，需重点防范：

4.5 采集偏差校验清单

在金融知识图谱采集阶段，建议按以下清单逐项校验：

• 数据源覆盖度： 是否覆盖了所有目标数据源？是否存在系统性遗漏（如仅采集A股忽略港股）？
• 字段对齐率： 不同数据源的同义字段是否成功映射？映射失败的比例是否超过阈值（如5%）？
• 缺失模式诊断： 是否对关键字段（如收入、负债、评级）进行了MCAR/MAR/MNAR检验？
• 采集稳定性： 爬虫/API是否在连续7天内稳定运行？失败重试率是否低于1%？
• 时间一致性： 同一实体的不同时间点数据是否在预期时间窗口内？是否存在时间戳异常？
• 长尾覆盖： 尾部20%的实体是否至少被采集到80%的预期属性？