1. 课程导论:金融知识图谱样本偏差校验的背景、重要性、课程目标与整体框架
1.1 背景:为什么金融知识图谱需要样本偏差校验?
金融知识图谱(FinKG)在风控、反欺诈、智能投顾等场景中扮演着核心决策引擎的角色。然而,FinKG 的构建高度依赖历史样本数据,这些数据往往存在系统性偏差,导致图谱推理结果偏离真实金融规律。常见的偏差来源包括:
- 样本选择偏差:训练数据仅覆盖特定客群(如优质客户),导致模型对长尾风险客群失效。
- 时间窗口偏差:使用特定经济周期(如牛市)的数据训练,在熊市环境下推理失准。
- 标签噪声偏差:人工标注的实体关系存在主观不一致,引入虚假关联。
- 数据稀疏偏差:冷启动阶段图谱节点和边极度稀疏,统计推断不可靠。
核心洞察:金融知识图谱的“知识”质量取决于样本的统计代表性。未经偏差校验的图谱,其输出结果在金融监管合规和风险计量上均不可接受。
1.2 重要性:偏差校验对金融风控的直接影响
| 偏差类型 | 风控场景示例 | 潜在损失 |
|---|---|---|
| 样本选择偏差 | 仅用历史逾期客户训练关联规则,忽略正常客户行为模式 | 误杀率(FPR)上升 30%+ |
| 时间窗口偏差 | 用 2020-2021 年低利率环境数据预测 2023 年高利率违约 | 违约预测 AUC 下降 0.15 |
| 标签噪声偏差 | 企业担保关系标注错误,导致担保圈风险传导路径断裂 | 风险敞口低估 2-5 倍 |
| 数据稀疏偏差 | 新业务线图谱节点数 < 1000,路径推理置信度不足 | 无法通过模型验证 |
在金融监管层面,巴塞尔协议 III 和 《金融数据安全分级指南》 均要求模型开发过程中对训练样本进行充分的偏差评估与校正。忽视样本偏差校验,不仅导致模型失效,更可能引发合规风险。
1.3 课程目标
本课程旨在帮助金融风控与知识图谱从业者系统掌握样本偏差校验的方法论与工程实践。完成本课程后,学员将能够:
- 识别金融知识图谱构建全链路中的 6 类主要样本偏差来源。
- 量化偏差程度:使用统计检验(KS 检验、PSI、群体稳定性指数)和图结构指标(度分布 KL 散度、连通分量比)评估偏差。
- 设计偏差校验 Feature:构建可落地的偏差特征工程流水线,包括样本权重、对抗验证特征、图结构校正因子。
- 实施偏差缓解策略:重采样、逆概率加权、图数据增强、标签传播校正。
- 验证校验效果:通过离线回测与在线 A/B 测试验证偏差校正对风控模型性能的提升。
1.4 整体框架:课程知识图谱
本课程共 30 章,分为四大模块。下图展示了课程的整体知识结构:
1.5 课程章节速览
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 模块一:偏差基础与概念 | 第1-5章 | 偏差分类、金融数据生成机制、知识图谱构建偏差源、偏差传播路径、校验指标体系 |
| 模块二:偏差检测与量化 | 第6-12章 | KS/PSI/CHI-SQ 检验、图度分布 KL 散度、连通分量分析、标签噪声检测、时间漂移检测、对抗验证、偏差报告生成 |
| 模块三:偏差校验Feature工程 | 第13-22章 | 样本权重特征、图结构校正因子、对抗验证特征、标签传播置信度、时间衰减特征、多源融合特征、特征选择与降维、特征监控流水线 |
| 模块四:偏差缓解与验证 | 第23-30章 | 重采样策略、逆概率加权、图数据增强(Node2Vec/GraphSMOTE)、标签传播校正、模型级偏差缓解、离线回测框架、在线 A/B 测试、生产部署最佳实践 |
学习建议:建议按模块顺序学习,但如果你已有偏差检测基础,可以直接从模块三(第13章)开始。每章末尾均提供可运行的 Python 代码示例和金融场景数据集,方便动手实践。
1.6 本课程适用的角色
- 金融风控建模工程师:需要提升模型在真实环境中的鲁棒性。
- 知识图谱算法工程师:关注图谱构建质量与推理可靠性。
- 金融数据科学家:负责数据质量治理与特征工程。
- 金融科技合规与审计人员:需要理解模型偏差对监管合规的影响。