4、数据采集阶段的偏差：数据源选择偏差、时间窗口偏差、数据缺失机制（MCAR/MAR/MNAR）及其对特征的影响
数据采集是知识图谱构建的第一道关口，也是样本偏差最容易被引入的阶段。金融业务中，数据源的可获得性、采集时间窗口的设定以及数据缺失的内在机制，会直接决定后续特征的分布形态与模型泛化能力。本节从三个核心维度拆解采集阶段的偏差来源，并给出对应的校验与缓解策略。
4.1 数据源选择偏差
数据源选择偏差（Source Selection Bias）指因数据采集渠道、合作方或系统覆盖范围有限，导致样本无法代表目标总体。金融知识图谱中常见的数据源偏差包括：
- 渠道覆盖偏差：仅接入某一家支付平台或某几家银行的交易数据，忽略其他渠道的客户行为。
- 幸存者偏差：只采集当前仍在活跃的客户数据，已流失、逾期或注销的客户被排除在外。
- 合作方偏差：依赖特定数据供应商（如某征信机构），其数据采集标准、更新频率与总体存在差异。
- 系统记录偏差：老旧系统可能只记录成功交易，失败或异常交易未被纳入图谱。
校验方法：对比数据源覆盖的客户画像与目标总体画像（年龄、地域、收入分布）；使用 Kolmogorov-Smirnov 检验或 PSI（Population Stability Index）量化分布差异；若 PSI > 0.1，则需标记该特征存在数据源选择偏差风险。
4.2 时间窗口偏差
时间窗口偏差（Temporal Window Bias）源于特征采集的时间区间与业务实际发生时间不匹配。金融场景中常见的时间窗口问题：
| 偏差类型 | 描述 | 典型金融案例 |
|---|---|---|
| 截断窗口 | 只采集固定长度（如近3个月）的数据，忽略更早的历史行为 | 仅用近3个月交易记录评估信用，遗漏早期逾期历史 |
| 滞后窗口 | 特征采集时间点与标签时间点存在固定延迟 | 用T-1月的收入预测T月的还款能力，但收入数据实际延迟2周 |
| 季节性窗口 | 采集窗口覆盖特定季节或促销期，导致特征分布偏移 | 仅采集双十一期间的消费数据作为全年消费能力特征 |
| 漂移窗口 | 不同批次数据使用不同长度的采集窗口 | 2023年批次用6个月窗口，2024年批次改用3个月窗口 |
缓解策略：在特征工程阶段显式记录时间窗口参数（起始日期、窗口长度、延迟天数）；对时间敏感特征进行滚动窗口验证；使用时间序列分解方法（如 STL）分离趋势与季节性成分。
4.3 数据缺失机制：MCAR / MAR / MNAR
数据缺失机制决定了缺失值对特征分布的影响程度，是金融风控特征校验中不可忽视的环节。根据 Rubin（1976）的分类框架，缺失机制分为三类：
| 缺失机制 | 定义 | 金融场景示例 | 对特征的影响 |
|---|---|---|---|
| MCAR 完全随机缺失 |
缺失概率与观测数据及未观测数据均无关 | 系统随机丢包导致部分交易记录缺失 | 仅降低样本量，不引入系统性偏差；可直接删除或均值填充 |
| MAR 随机缺失 |
缺失概率依赖于已观测到的其他变量，但与缺失变量本身无关 | 高收入客户更可能不填写收入字段，但缺失与否可由职业、学历等已观测变量预测 | 若忽略缺失机制，填充后特征分布可能偏移；需使用多重插补或基于模型的填充 |
| MNAR 非随机缺失 |
缺失概率与缺失变量本身的值相关 | 逾期金额越高的客户越可能不提供资产证明；高风险交易记录被系统主动屏蔽 | 最严重的偏差来源；简单填充会扭曲特征与标签的关系；需引入外部信息或敏感性分析 |
风控警示：在信贷评分卡或反欺诈模型中，MNAR 缺失机制常导致“好客户”特征完整、“坏客户”特征大量缺失，从而高估模型区分能力。务必在特征校验阶段对缺失模式进行假设检验（如 Little's MCAR 检验），并记录缺失机制分类。
4.4 缺失机制对特征影响的量化分析
不同缺失机制对特征统计量、模型系数和预测性能的影响程度存在显著差异。以下表格总结了关键影响维度：
| 影响维度 | MCAR | MAR | MNAR |
|---|---|---|---|
| 均值估计 | 无偏 | 有偏（依赖填充方法） | 严重有偏 |
| 方差估计 | 增大（样本减少） | 有偏且低估 | 严重扭曲 |
| 回归系数 | 无偏但标准误增大 | 有偏（若忽略缺失机制） | 不可识别，系数严重偏移 |
| 特征重要性排序 | 基本稳定 | 可能改变 | 完全不可靠 |
| 推荐处理策略 | 列表删除 / 均值填充 | 多重插补（MICE） / 极大似然估计 | 敏感性分析 / 外部数据融合 / 选择模型 |
4.5 采集阶段偏差的校验流程
针对数据采集阶段的三种偏差，建议在特征工程流水线中嵌入以下校验步骤：
- 数据源覆盖度审计：统计各数据源在样本中的占比，与业务总体分布进行卡方检验。
- 时间窗口一致性检查：记录每个特征的采集起始日期、窗口长度和延迟天数；计算不同批次间窗口参数的变异系数。
- 缺失模式识别：使用 Little's MCAR 检验判断缺失机制；若 p < 0.05，则拒绝 MCAR 假设，进一步分析 MAR 与 MNAR。
- 缺失对特征分布的影响量化：比较缺失组与完整组在目标变量（如逾期标签）上的分布差异，计算 Cohen's d 或 AUC 差异。
- 偏差标记与元数据记录：将识别出的偏差类型、严重程度、建议处理方式写入特征元数据表，供下游模型开发参考。
实践建议：在金融知识图谱的特征存储层，为每个特征字段增加
bias_tag 和 missing_mechanism 两个元数据属性。例如：{
"feature_name": "income_annual",
"bias_tag": ["source_bias", "mar"],
"missing_mechanism": "MAR",
"missing_rate": 0.23,
"recommended_fill": "mice_imputation"
}