VIP20

本课程属于：017-风控规则引擎特征样本分层 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Spark在风控特征样本分层中的实操

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

风控样本分层概述

为什么需要样本分层 · 分层在风控模型中的核心作用 · 常见分层维度（时间

风控样本分层概述为什么需要样本分…

Spark环境搭建与配置

Spark集群安装 · PySpark环境配置 · SparkSession初始化

Spark环境搭建

数据读取与基础ETL

使用Spark读取Hive/Parq… · 数据清洗 · 缺失值处理

ETL数据读取

特征工程基础

特征类型分类（数值型 · 类别型 · 时序型）

特征工程基础特征类型分类

样本分层策略设计

按时间窗口分层（训练集/验证集/测试… · 按客群分层（好/坏/拒绝） · 按渠道分层

样本分层策略设计按时间窗口分层

基于时间戳的分层实现

使用Spark SQL提取时间字段 · 按日期划分窗口 · 滑动窗口与固定窗口对比

基于时间戳的分层…Spark

基于客群标签的分层实现

好坏样本定义 · 拒绝推断样本构建 · 使用when+otherwise打标…

基于客群标签的分…好坏样本定义

基于渠道来源的分层实现

渠道字段解析 · 多渠道合并 · 渠道权重计算与分层采样

基于渠道来源的分…渠道字段解析

分层采样算法

简单随机采样 · 分层比例采样 · 分层等量采样

分层采样算法简单随机采样

Spark DataFrame API分层操作

groupBy · agg · sampleBy

大规模数据下的分层优化

使用RDD进行分区控制 · repartition与coales… · 避免数据倾斜

大规模数据下的分…RDD

数据倾斜问题与解决方案

倾斜检测 · 加盐处理 · 两阶段聚合

数据倾斜问题解决方案

特征交叉与分层

特征交叉（WOE · IV）在不同分层下的表现 · 分层计算IV值

特征交叉分层

时间序列特征与分层

滞后特征构建 · 滚动窗口统计 · 时间序列交叉验证分层

时间序列特征分层

样本权重与分层

样本权重计算（过采样/欠采样） · 权重在模型训练中的应用 · Spark实现权重列

样本权重分层

分层后的数据质量监控

分层后分布一致性检验（PSI） · KS统计量 · 数据漂移检测

分层后的数据质量…PSI

Spark MLlib与分层

使用MLlib的Pipeline进行… · VectorAssembler · StandardScaler

分层特征存储与版本管理

分层后特征写入Hive/Delta… · 特征版本控制 · 回溯能力

分层特征存储版本管理

实时分层特征计算

Structured Streami… · 实时窗口分层 · 状态管理

实时分层特征计算Structured

分层样本的自动化流水线

Airflow调度Spark任务 · 分层参数配置化 · 失败重试机制

分层样本的自动化…Airflow

风控模型评估与分层

不同分层下的模型评估（AUC · KS · Lift）

风控模型评估分层

拒绝推断与分层

拒绝样本的标签推断 · 分层下的拒绝采样 · Spark实现拒绝推断

拒绝推断分层

跨时间窗口的样本一致性

时间稳定性检验 · 特征分布对比 · 分层迁移学习

跨时间窗口的样本…时间稳定性检验

多任务学习与分层

多目标风控模型的分层样本设计 · 共享特征与私有特征

多任务学习分层

联邦学习场景下的分层

隐私计算下的分层采样 · Spark与联邦学习结合 · 安全聚合

联邦学习场景下的…隐私计算下的分层…

分层特征的可解释性

SHAP值在分层下的计算 · 特征重要性分层对比 · 可视化

分层特征的可解释…SHAP

大规模分层性能调优

Spark内存管理 · Shuffle优化 · 动态资源分配

大规模分层性能调…Spark

分层样本的A/B测试

在线A/B测试分层设计 · 离线分层模拟 · 效果评估指标

A/B分层样本的

信贷风控样本分层全流程 · 模型训练 · 效果验证

案例实战信贷风控样本分层…

总结与最佳实践

常见踩坑点 · 分层策略选择指南 · 未来趋势（自动分层

最佳实践常见踩坑点