VIP20
本课程属于：017-风控规则引擎特征样本分层 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Spark实现风控特征分层与样本清洗实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
风控特征体系概述
风控特征的定义 · 特征分层（基础层/衍生层/聚合层）的…
风控特征体系概述风控特征的定义
02
Spark环境搭建与数据源接入
Spark集群模式选择 · 读取Hive/MySQL/Kafka…
Spark环境搭建
03
原始数据探查与质量评估
使用Spark DataFrame… · 唯一值 · 分布统计
原始数据探查质量评估
04
基础特征层构建（用户画像）
从用户注册表 · 登录表提取年龄 · 性别
基础特征层构建用户画像
05
基础特征层构建（设备指纹）
解析设备ID · IP · MAC
基础特征层构建设备指纹
06
基础特征层构建（订单属性）
提取订单金额 · 商品类目 · 支付方式等交易基础特征
基础特征层构建订单属性
07
时间窗口滑动聚合特征
使用Spark窗口函数（Window… · 均值 · 最大值
时间窗口滑动聚合…Spark
08
比率与增长率特征
计算转化率 · 逾期率 · 环比/同比增长率等衍生比率特征
比率增长率特征
09
序列行为特征提取
基于用户行为日志 · 使用collect_list/sor…
序列行为特征提取基于用户行为日志
10
文本与类别特征编码
对风控中的IP · 地址 · 设备型号进行OneHot
文本类别特征编码
11
特征交叉与组合
使用Spark ML Pipelin… · 渠道*设备类型）
特征交叉组合
12
特征重要性排序与筛选
基于RandomForest或Chi… · 保留TopK特征
特征重要性排序筛选
13
样本不平衡问题分析
风控场景中正负样本比例严重失衡的原因…
样本不平衡问题分…风控场景
14
欠采样与过采样实战
使用Spark实现随机欠采样 · SMOTE过采样（基于PySpark…
欠采样过采样实战
15
样本权重调整
在Spark MLlib中设置cla… · 调整损失函数中的样本权重
样本权重调整Spark
16
异常样本检测与剔除
基于IQR · Z-Score · Isolation Forest识别…
异常样本检测剔除
17
重复样本与冲突样本处理
基于主键去重 · 时间戳冲突解决策略（保留最新/最旧）
重复样本冲突样本处理
18
缺失值填充策略
均值填充 · 中位数填充 · 前向填充（ffill）
缺失值填充策略均值填充
19
时间序列样本切分
按时间顺序划分训练集/验证集/测试集 · 避免未来信息泄露
时间序列样本切分按时间顺序划分训…
20
样本标签定义与漂移检测
逾期标签定义（M0/M1/M2+） · PSI指标计算与特征漂移监控
样本标签定义漂移检测
21
特征存储与特征平台
将清洗后的特征写入HBase/Red… · 支持在线/离线复用
特征存储特征平台
22
Spark UDF与自定义聚合函数
编写UDF处理复杂特征逻辑 · 编写UDAF实现自定义聚合
SparkUDF
23
大规模特征并行计算优化
使用broadcast join · coalesce · repartition优化特征计算性…
大规模特征并行计…broadcast
24
数据倾斜处理实战
定位倾斜key · 使用加盐 · 两阶段聚合解决特征计算中的数据倾斜
数据倾斜处理实战key
25
特征血缘与元数据管理
使用Spark Catalog记录特… · 转换逻辑 · 版本信息
特征血缘元数据管理
26
特征质量监控与告警
每日特征空值率 · 分布漂移 · 延迟监控
特征质量监控告警
27
风控模型训练与特征验证
使用Spark MLlib训练逻辑回… · XGBoost · 验证特征有效性
风控模型训练特征验证
28
特征回溯与离线评估
回测历史特征表现 · 计算KS · AUC
特征回溯离线评估
29
全流程Pipeline封装
将特征工程与样本清洗封装为Spark… · 支持一键重跑
Pipeline全流程
30
生产环境部署与调度
使用Airflow调度Spark任务 · 实现每日增量特征计算与样本更新
生产环境部署调度