VIP20

本课程属于：017-风控规则引擎特征样本分层 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Spark助力风控特征分层与样本抽样指南

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

风控特征分层概述

特征分层的定义 · 在风控模型中的重要性 · 分层与模型性能的关系

风控特征分层概述特征分层的定义

Spark在风控场景中的角色

Spark生态简介 · Spark与Hadoop对比 · Spark在特征工程与抽样中的优势

Spark风控场景

风控特征分类体系

基础身份特征 · 行为特征 · 交易特征

风控特征分类体系基础身份特征

特征分层方法论

基于信息量(IV)的分层 · 基于缺失率的分层 · 基于稳定性(PSI)的分层

特征分层方法论IV

Spark DataFrame基础

DataFrame创建 · Schema定义 · 常用转换操作（select

Spark SQL在特征提取中的应用

使用SQL进行特征聚合 · 窗口函数计算滑动特征 · 时间窗口特征

特征重要性评估与分层

使用Spark MLlib的Rand… · 按重要性排序分层

特征重要性评估分层

基于IV值的特征分层实践

使用Spark计算WOE与IV · 按IV阈值划分强特征 · 中特征

基于缺失率的特征分层

Spark统计特征缺失率 · 设定阈值进行分层（高缺失 · 中缺失

基于缺失率的特征…Spark

基于PSI的特征稳定性分层

Spark计算群体稳定性指标(PSI… · 按PSI值划分稳定特征与不稳定特征

特征分层结果存储与管理

使用Parquet格式存储分层元数据 · Hive分区表管理分层标签

特征分层结果存储管理

样本抽样基础概念

随机抽样 · 分层抽样 · 系统抽样

样本抽样基础概念随机抽样

风控样本不平衡问题

正负样本比例失衡的影响 · 欠采样 · 过采样

风控样本不平衡问…正负样本比例失衡…

Spark随机抽样实现

sample()函数详解 · withReplacement参数 · fraction参数

Spark随机抽样实现

Spark分层抽样实现

sampleBy()函数详解 · 基于特征分层的按比例抽样 · 精确分层抽样

Spark分层抽样实现

基于特征分层的样本加权抽样

根据特征分层权重调整抽样概率 · 保证各层代表性

基于特征分层的样…根据特征分层权重…

Spark欠采样处理不平衡数据

随机欠采样实现 · 基于聚类中心的欠采样（Tomek L…

Spark欠采样处理不平衡…

Spark过采样处理不平衡数据

随机过采样实现 · SMOTE在Spark上的近似实现（…

Spark过采样处理不平衡…

时间序列风控样本抽样

按时间窗口划分训练集/验证集/测试集 · 避免未来信息泄露

时间序列风控样本…按时间窗口划分训…

样本抽样质量评估

抽样后分布一致性检验（KS检验 · 卡方检验） · PSI监控

样本抽样质量评估KS

特征分层与抽样联合策略

先分层后抽样 · 先抽样后分层 · 动态分层抽样策略

特征分层抽样联合策略

Spark Pipeline在特征分层与抽样中的应用

构建ML Pipeline · 将分层与抽样封装为Transform…

大规模特征存储与索引

使用Spark写入HBase/Red… · 构建特征分层索引加速在线查询

大规模特征存储索引

风控特征监控与分层更新

基于Spark Streaming实… · 触发分层动态调整

风控特征监控分层更新

信贷风控特征分层与抽样（一） · 特征衍生 · 缺失值处理

案例实战信贷风控特征分层

信贷风控特征分层与抽样（二） · 特征分层 · 分层结果可视化

案例实战信贷风控特征分层

信贷风控特征分层与抽样（三） · 训练集构建 · 模型训练与评估

案例实战信贷风控特征分层

反欺诈风控特征分层与抽样 · 异常检测样本抽样

案例实战反欺诈风控特征分…

Spark作业调优（分区数 · 内存 · shuffle）

性能优化Spark

课程总结与最佳实践

特征分层与抽样常见陷阱 · 生产环境部署建议 · 未来趋势（AutoML+特征分层）

课程总结最佳实践