VIP20
本课程属于：053-反洗钱监测Champion对照实验 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Spark在反洗钱对照实验中的实战应用

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
反洗钱业务概述
洗钱的定义 · 三个阶段（处置 · 离析
反洗钱业务概述洗钱的定义
02
对照实验方法论
A/B测试在反洗钱模型评估中的应用 · 实验组与对照组设计原则 · 统计显著性检验
对照实验方法论A/B
03
Spark生态与AML场景
Spark Core · Spark SQL · MLlib在反洗钱中的角色
SparkAML
04
实验环境搭建
Spark集群部署（Standalo… · 配置参数调优 · 依赖管理（Maven/SBT）
实验环境搭建Spark
05
数据源接入
交易流水数据（CSV/Parquet… · 客户信息表 · 黑名单库
数据源接入CSV/Parquet
06
数据预处理
缺失值处理 · 异常值检测 · 时间戳标准化
数据预处理缺失值处理
07
特征工程（基础）
交易金额 · 频率 · 地域分布
特征工程交易金额
08
特征工程（高级）
图特征（交易网络度中心性） · 序列特征（资金流向路径） · 行为画像特征
特征工程高级
09
规则引擎实现
基于Spark SQL的阈值规则（如… · 快进快出） · 规则权重配置与动态更新
规则引擎实现Spark
10
机器学习模型构建
使用MLlib实现逻辑回归 · 随机森林 · 梯度提升树用于可疑交易分类
机器学习模型构建MLlib
11
模型评估指标
准确率 · 召回率 · 精确率
模型评估指标准确率
12
对照实验设计
划分实验组（新模型/规则）与对照组（… · 确保样本无偏 · 时间窗口对齐
对照实验设计划分实验组
13
实验数据管道
使用Spark Structured… · 构建离线与近线实验管道
实验数据管道Spark
14
实验执行引擎
编写Spark Job进行批量回测 · 记录每笔交易的预测分数与决策标签
实验执行引擎Spark
15
结果收集与存储
将实验组与对照组的预测结果写入Hiv… · 便于后续分析
结果收集存储
16
统计检验方法
卡方检验 · t检验 · Mann-Whitney U检验在比…
统计检验方法卡方检验
17
可视化分析
使用Spark + Matplotl… · ROC曲线 · 累计提升图
可视化分析Spark
18
实验报告生成
自动化生成包含指标对比表 · 显著性p值 · 业务建议的HTML/PDF报告
实验报告生成自动化生成包含指…
19
案例实战（一）
基于规则引擎的对照实验——新旧规则集…
案例实战基于规则引擎的对…
20
案例实战（二）
基于机器学习模型的对照实验——逻辑回…
案例实战基于机器学习模型…
21
案例实战（三）
规则+模型融合实验——规则前置过滤后…
案例实战规则+模型融合实…
22
性能优化
Spark Shuffle调优 · 广播变量应用 · 数据倾斜处理
性能优化Spark
23
实验监控与告警
使用Spark Listeners收… · 资源消耗 · 集成Prometheus+Grafa…
实验监控告警
24
多轮实验管理
实验版本控制（MLflow） · 参数追踪 · 结果回溯与对比分析
多轮实验管理MLflow
25
合规与安全
数据脱敏 · 审计日志 · RBAC权限控制
合规安全
26
实验偏差处理
时间穿越 · 幸存者偏差 · 样本选择偏差的识别与修正方法
实验偏差处理时间穿越
27
生产环境部署
将实验通过的模型/规则打包为Spar… · 上线灰度发布
生产环境部署Spar
28
A/B测试平台集成
将Spark实验框架接入内部A/B测… · 实现一键启停与流量切分
A/B测试平台集成
29
前沿技术探索
图神经网络（GNN）在反洗钱中的应用 · Spark + TensorFlow…
前沿技术探索GNN
30
课程总结与展望
反洗钱实验体系最佳实践 · Spark 3.x新特性（自适应查询 · 动态分区裁剪）的利用
课程总结反洗钱实验体系最…