2. 样本偏差概念
2.1 样本偏差定义
样本偏差(Sample Bias)是指在数据采集、标注或抽样过程中,样本分布与目标总体真实分布之间存在系统性差异。在金融知识图谱场景中,样本偏差会导致图谱推理、风险预测和关系挖掘的结果偏离真实业务逻辑,从而产生错误的决策信号。
核心公式: 偏差 = E[模型预测] − 真实值。当训练样本的分布 P(train) ≠ 目标总体的分布 P(population) 时,偏差即产生。
金融图谱的样本偏差具有 累积放大效应:偏差从底层实体抽取开始,逐层传递至关系构建、属性补全和上层推理,最终导致风控模型失效。因此,偏差校验是图谱质量保障的第一道防线。
| 偏差维度 | 定义 | 金融图谱影响 |
|---|---|---|
| 覆盖偏差 | 样本未能覆盖总体中的关键子群 | 遗漏高风险行业或地域的实体 |
| 量测偏差 | 数据采集工具或方法导致系统误差 | 财报字段提取错误、关系类型误标 |
| 处理偏差 | 数据清洗或预处理引入的分布偏移 | 缺失值填充方式扭曲关联规则 |
2.2 金融图谱中样本偏差的常见类型
2.2.1 选择偏差(Selection Bias)
选择偏差发生在样本选取过程中,当某些子群被系统性地排除或过度代表时产生。在金融图谱中,选择偏差的典型表现包括:
- 渠道偏差:仅从银行信贷系统抽取企业实体,遗漏纯民间借贷主体
- 地域偏差:过度集中于一线城市企业数据,三四线城市实体稀疏
- 行业偏差:金融科技企业数据丰富,传统制造业实体关系链残缺
校验方法:对比样本与总体的行业分布、地域分布、规模分布,计算 KL 散度或 JS 散度,阈值超过 0.1 即触发偏差告警。
2.2.2 幸存者偏差(Survivorship Bias)
幸存者偏差是指样本仅包含“存活”或“成功”的实体,而忽略了已退出、破产或失联的实体。这是金融图谱中最隐蔽且破坏力最强的偏差类型。
| 场景 | 幸存者样本 | 被忽略样本 | 偏差后果 |
|---|---|---|---|
| 企业信用图谱 | 存续企业 | 已注销、破产企业 | 高估行业平均信用水平 |
| 投资关系图谱 | 成功退出项目 | 失败清算项目 | 扭曲投资回报率分布 |
| 供应链图谱 | 正常运营供应商 | 已倒闭供应商 | 遗漏供应链断裂风险 |
2.2.3 标签偏差(Label Bias)
标签偏差是指样本的标注结果与真实状态之间存在系统性差异。在金融图谱中,标签偏差主要来源于:
- 标注者偏差:不同标注人员对“关联交易”“担保关系”等边类型判断标准不一致
- 代理标签偏差:使用“逾期30天”作为违约标签,但实际违约定义更复杂
- 时间截断偏差:在标注时点尚未发生违约的样本被标记为“正常”,但后续可能违约
严重性:标签偏差直接污染监督学习的目标变量。在金融图谱中,即使特征工程完美,标签偏差也会导致模型 AUC 虚高而实际泛化能力极差。
2.2.4 时间偏差(Temporal Bias)
时间偏差是指样本的时间分布与目标推理时间窗口不匹配。金融图谱具有强时序依赖性,时间偏差的常见形式包括:
| 子类型 | 描述 | 金融图谱示例 |
|---|---|---|
| 时间窗口偏差 | 训练数据时间窗口与预测窗口不一致 | 用2018-2020数据预测2023风险,政策环境已变 |
| 季节性偏差 | 样本仅覆盖特定季节或周期 | 仅含年报数据,忽略季报中的短期波动 |
| 事件偏差 | 特殊事件导致时间分布突变 | 疫情期间的样本分布无法代表常态 |
2.3 偏差类型对比与校验优先级
| 偏差类型 | 隐蔽性 | 破坏力 | 校验难度 | 校验优先级 |
|---|---|---|---|---|
| 选择偏差 | 中 | 高 | 低 | ⭐⭐⭐⭐⭐ |
| 幸存者偏差 | 高 | 极高 | 高 | ⭐⭐⭐⭐⭐ |
| 标签偏差 | 中 | 高 | 中 | ⭐⭐⭐⭐ |
| 时间偏差 | 中 | 高 | 中 | ⭐⭐⭐⭐ |
实践建议:在金融图谱项目中,建议按照“选择偏差 → 幸存者偏差 → 时间偏差 → 标签偏差”的顺序进行校验。选择偏差和幸存者偏差对图谱底层结构影响最大,应优先排查。