VIP20
本课程属于：013-金融知识图谱样本偏差校验 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

金融图谱Spark SQL样本偏差校验实战课程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
金融图谱与样本偏差概述 · 课程目标与学习路径 · 前置知识要求
课程导论金融图谱
02
金融图谱基础
实体 · 关系与属性的定义 · 典型金融图谱模型（客户
金融图谱基础实体
03
Spark SQL环境搭建
Spark集群安装配置 · Spark SQL与Hive集成 · 开发IDE准备
SparkSQL
04
金融图谱数据加载
从HDFS/Hive读取图谱数据 · DataFrame与Dataset…
金融图谱数据加载HDFS/Hive
05
样本偏差概念
什么是样本偏差 · 金融场景中的常见偏差类型（幸存者偏差 · 选择偏差）
样本偏差概念什么是样本偏差
06
偏差对模型的影响
偏差导致过拟合/欠拟合 · 模型泛化能力下降 · 金融风控误判案例
偏差对模型的影响偏差导致过拟合
07
数据探索与统计
使用Spark SQL进行描述性统计 · 缺失值分析 · 分布可视化
数据探索统计
08
标签分布校验
正负样本比例分析 · 时间窗口切片下的标签稳定性
标签分布校验正负样本比例分析
09
特征分布校验
连续特征的分位数与直方图 · 离散特征的频次与卡方检验
特征分布校验连续特征的分位数
10
跨实体偏差校验
客户-账户-交易多跳关联下的样本代表…
跨实体偏差校验客户
11
时间序列偏差校验
训练集与测试集时间分布一致性 · 时间漂移检测
时间序列偏差校验训练集
12
数据倾斜检测
Spark SQL中GroupBy/… · 倾斜度量化指标
数据倾斜检测Spark
13
偏差可视化方案
使用Spark SQL聚合结果配合E…
偏差可视化方案Spark
14
基于Spark SQL的偏差校验框架设计
模块化架构 · 校验规则配置化
SparkSQL
15
规则引擎实现
自定义UDF编写偏差校验规则 · 规则组合与优先级
规则引擎实现UDF
16
样本重采样技术
过采样（SMOTE） · 欠采样 · Spark SQL实现重采样
样本重采样技术SMOTE
17
样本加权方案
基于偏差程度的样本权重计算 · 权重字段注入训练流程
样本加权方案基于偏差程度的样…
18
分层采样校验
按关键维度（地区 · 产品）分层后校验样本分布
分层采样校验按关键维度
19
PSI（群体稳定性指标）计算
使用Spark SQL实现PSI · 阈值设定与告警
PSI群体稳定性指标
20
KS与IV值校验
区分度与信息量计算 · 在偏差校验中的应用
KSIV
21
A/B测试中的偏差控制
实验组与对照组样本一致性校验 · 随机化检验
A/B测试
22
实时偏差监控
基于Structured Strea…
实时偏差监控Structured
23
偏差报告自动化
定时任务生成HTML/PDF偏差报告 · 邮件推送
偏差报告自动化HTML/PDF
24
案例实战一
信贷风控图谱样本偏差校验全流程
案例实战一信贷风控图谱样本…
25
案例实战二
反洗钱交易图谱中的幸存者偏差处理
案例实战二反洗钱交易图谱
26
案例实战三
客户画像图谱中特征缺失偏差的修复
案例实战三客户画像图谱
27
性能优化
Spark SQL查询优化 · 数据分区与缓存策略
性能优化Spark
28
偏差校验工具集成
与Airflow调度 · 与MLflow模型注册联动
偏差校验工具集成Airflow
29
常见问题与排错
数据倾斜调优 · UDF性能瓶颈 · 内存溢出处理
常见问题排错
30
课程总结与展望
金融图谱偏差校验最佳实践 · 未来趋势（图神经网络偏差）
课程总结金融图谱偏差校验…