VIP20
本课程属于：060-支付风控实验评估 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Spark风控实验数据处理实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
风控实验概述
风控实验的定义 · 风控实验在金融业务中的价值 · 风控实验数据处理的挑战
风控实验概述风控实验的定义
02
Spark基础回顾
Spark生态介绍 · RDD/DataFrame/Data… · SparkSession初始化
Spark基础回顾
03
风控数据源接入
从HDFS读取风控日志 · 从Kafka读取实时风控事件 · 从JDBC读取用户画像数据
风控数据源接入HDFS
04
数据质量探查
使用describe()与summa… · 空值检测与异常值初步识别
数据质量探查describe
05
数据清洗实战
空值填充策略（均值/中位数/众数） · 异常值过滤（IQR与Z-score方…
数据清洗实战空值填充策略
06
特征工程基础
特征类型分类（数值型/类别型/时序型… · 特征提取与特征选择原则
特征工程基础特征类型分类
07
用户行为特征计算
基于groupBy与agg计算用户点… · 交易金额均值 · 活跃天数
用户行为特征计算groupBy
08
时间窗口特征
使用window函数构建滑动窗口特征… · 最近N次行为间隔）
时间窗口特征window
09
设备指纹特征处理
设备ID聚合 · 设备型号one-hot编码 · 设备异常登录次数统计
设备指纹特征处理ID
10
IP地址特征工程
IP归属地解析（GeoIP） · IP段聚合 · IP风险等级映射
IP地址特征工程
11
关系图谱特征
基于DataFrame构建用户-设备… · 计算节点度数与连通分量
关系图谱特征DataFrame
12
标签数据构建
正负样本定义 · 样本不平衡处理（下采样/过采样） · 训练集/验证集/测试集划分
标签数据构建正负样本定义
13
Spark SQL在风控中的应用
使用Spark SQL进行复杂风控规… · 临时视图与全局视图
SparkSQL
14
风控规则引擎实现
基于when/otherwise实现… · 规则命中率统计与规则冲突检测
风控规则引擎实现when/otherwi…
15
实时风控数据处理
Structured Streami… · 滑动窗口聚合实时计算风险指标
实时风控数据处理Structured
16
批流一体风控架构
Lambda架构与Kappa架构对比 · 批处理与流处理结果合并策略
批流一体风控架构Lambda
17
风控模型特征存储
将特征向量写入HBase/Redis · 特征版本管理与回溯
风控模型特征存储HBase/Redis
18
大规模数据倾斜处理
数据倾斜原因分析 · salting技术 · 广播变量优化join
大规模数据倾斜处…数据倾斜原因分析
19
风控数据血缘追踪
使用Spark事件日志构建数据血缘 · 字段级血缘解析
风控数据血缘追踪Spark
20
风控实验A/B测试框架
实验分组逻辑 · 基于Spark的假设检验（t检验/卡…
A/B风控实验
21
风控模型评估指标
混淆矩阵 · KS值 · AUC计算
风控模型评估指标混淆矩阵
22
特征重要性分析
基于RandomForest或GBT… · Permutation Import…
特征重要性分析RandomForest
23
风控数据可视化
使用Spark DataFrame统… · 输出为ECharts/Plotly可…
风控数据可视化Spark
24
风控数据安全与脱敏
数据脱敏策略（掩码/泛化/加密） · Spark加密UDF实现
风控数据安全脱敏
25
风控实验自动化流水线
使用Airflow调度Spark作业 · 依赖管理与重试机制
风控实验自动化流…Airflow
26
风控数据性能调优
Spark Shuffle调优 · 缓存策略 · Kryo序列化
风控数据性能调优Spark
27
风控实验报告生成
使用Spark汇总实验结果 · 生成PDF/HTML报告模板
风控实验报告生成Spark
28
风控数据异常检测实战
基于Spark ML的孤立森林 · LOF算法实现
风控数据异常检测…Spark
29
风控实验案例实战
反欺诈风控实验全流程（数据接入→特征…
风控实验案例实战反欺诈风控实验全…
30
风控实验总结与展望
Spark在风控领域的最佳实践 · 未来趋势（联邦学习+Spark · 图计算增强）
风控实验总结Spark