1. 课程导论：金融图谱与样本偏差概述

1.1 金融图谱：从数据到风控决策的基石

在金融风控领域，数据不再是孤立的字段，而是通过实体与关系编织成的知识网络。金融图谱（Financial Knowledge Graph）正是这一思想的工程化实现——它将用户、账户、交易、设备、联系人等实体抽象为节点，将转账、登录、担保、通话等行为抽象为边，构建出一个可计算、可推理的关联网络。

然而，图谱的构建与使用面临一个核心挑战：样本偏差。当用于训练风控模型的样本无法真实反映全量图谱分布时，模型在线上环境中的表现会急剧下降，甚至产生严重的误判风险。

1.2 样本偏差：金融风控的“隐形杀手”

样本偏差在金融图谱场景下主要表现为以下四种形态：

1.3 课程目标与学习路径

本课程旨在培养学员掌握以下核心能力：

• 诊断能力： 使用Spark SQL对金融图谱数据进行全量/抽样分布对比，快速定位偏差来源。
• 校验能力： 构建PSI（群体稳定性指标）、KS统计量、分布距离等量化指标，形成自动化校验流水线。
• 修复能力： 基于校验结果，运用重采样、分层抽样、逆概率加权等策略修正样本分布。
• 工程能力： 在Spark集群上实现TB级图谱数据的偏差校验与修复，保障生产环境稳定运行。

学习路径分为四个阶段：

1. 基础夯实（第1-5章）： 金融图谱数据模型、Spark SQL核心算子、样本偏差理论。
2. 校验实战（第6-15章）： 分布对比、PSI计算、KS检验、卡方检验、图谱特征偏差诊断。
3. 修复与优化（第16-25章）： 重采样策略、分层抽样、偏差补偿、Spark性能调优。
4. 工程落地（第26-30章）： 自动化校验流水线、监控告警、案例复盘与最佳实践。

1.4 前置知识要求

为保障课程学习效果，学员需具备以下基础能力：

1.5 课程实战环境与数据说明

本课程所有实战案例均基于以下环境：

• 计算引擎： Apache Spark 3.4+（Spark SQL + DataFrame API）
• 数据规模： 模拟金融图谱数据集，包含1000万用户节点、5000万交易边、200万设备关联边
• 存储格式： Parquet + Delta Lake（支持ACID事务与时间旅行）
• 调度平台： YARN / Kubernetes（课程提供本地模式备选方案）

课程配套数据集已预先注入以下偏差场景，供学员在校验实战中逐一攻克：

1. 训练样本中“多头借贷”用户占比仅为全量的1/3（选择偏差）
2. 标签定义仅覆盖逾期60天以上用户，忽略30-60天潜在风险（标签偏差）
3. 2024年Q1样本中“担保网络”密度显著低于2023年同期（时间偏差）
4. 高净值用户群体在样本中被系统性过滤（幸存者偏差）