VIP14
本课程属于：018-AML告警降噪、案件管理与模型验证 智能金融与金融工程 · 共 14 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

AML模型对照实验效果评估指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
AML模型对照实验概述
定义对照实验在AML模型评估中的核心… · 解释为什么需要对照实验（如消除混淆变… · 验证模型增量效果）
AML模型对照实验概述
02
实验设计原则
随机化 · 控制变量 · 重复性
实验设计原则随机化
03
基线模型选择
如何选择合理的基线模型（规则引擎 · 传统机器学习模型 · 简单深度学习模型）
基线模型选择如何选择合理的基…
04
实验组与对照组定义
明确实验组（新模型/新特征）与对照组… · 避免数据泄露
实验组对照组定义
05
数据集划分策略
时间序列划分（按时间窗口） · 分层抽样 · 跨机构验证在AML数据集上的特殊考虑
数据集划分策略时间序列划分
06
评估指标总览
混淆矩阵 · 准确率 · 精确率
评估指标总览混淆矩阵
07
混淆矩阵详解
TP（真正例） · FP（假正例） · TN（真负例）
混淆矩阵详解TP
08
精确率与召回率权衡
AML场景下精确率（减少误报）与召回… · 如何根据监管要求调整阈值
精确率召回率权衡
09
F1-score与F-beta
F1-score的适用场景 · F-beta中beta值如何根据业务…
F1-scoreF-beta
10
AUC-ROC曲线
ROC曲线的绘制方法 · AUC值在模型排序能力评估中的意义 · 在正负样本极不平衡时的局限性
AUC-ROC曲线
11
AUC-PR曲线
PR曲线相比ROC曲线在高度不平衡A… · 如何解读PR曲线下的面积
AUC-PR曲线
12
KS统计量
KS值在区分正负样本能力上的应用 · AML模型中KS值的合理范围与业务解…
KS统计量
13
提升度与捕获率
提升度（Lift）和捕获率（Capt… · 如Top 1%案件的捕获率
提升度捕获率
14
成本敏感评估
引入误报成本（人力审查成本）与漏报成… · 声誉损失）的加权评估指标 · 构建成本矩阵
成本敏感评估引入误报成本
15
统计显著性检验
配对t检验 · McNemar检验 · Wilcoxon符号秩检验在比较两个…
统计显著性检验配对t检验
16
交叉验证策略
K折交叉验证 · 留一法 · 时间序列交叉验证在AML模型评估中的…
交叉验证策略K折交叉验证
17
超参数调优与对照实验
如何区分超参数调优带来的提升与模型架… · 避免过拟合对照实验
超参数调优对照实验
18
特征重要性对比
通过SHAP · LIME等可解释性工具对比实验组与对… · 验证新增特征的有效性
特征重要性对比SHAP
19
时间稳定性评估
PSI（群体稳定性指标）在模型随时间… · 对照实验前后模型稳定性的变化
时间稳定性评估PSI
20
业务规则一致性检查
评估新模型是否与现有AML业务规则（… · 名单规则）产生冲突 · 确保合规性
业务规则一致性检…AML
21
误报案例分析
对实验组与对照组的误报案例进行抽样分… · 对比误报类型分布（如结构化数据误报 · 非结构化数据误报）
误报案例分析对实验组
22
漏报案例分析
对实验组与对照组的漏报案例进行回溯分… · 评估新模型是否减少了高风险漏报
漏报案例分析对实验组
23
实时性能评估
模型推理延迟 · 吞吐量在对照实验中的对比 · 确保新模型满足生产环境SLA要求
实时性能评估模型推理延迟
24
可扩展性测试
在数据量级增加（如10倍 · 100倍）时 · 实验组与对照组模型的训练与推理时间
可扩展性测试数据量级增加
25
A/B测试框架设计
在真实生产环境中进行A/B测试的流量… · 时间片轮转） · 监控指标设计
A/B测试框架设计
26
离线评估与在线评估差异
离线指标（如AUC）与在线指标（如误… · 案件处理效率）之间的相关性分析
离线评估线评估差异
27
多模型集成对照实验
比较单一模型与集成模型（如Stack… · Boosting）在AML任务上的效… · 评估集成带来的边际收益
多模型集成对照实…Stack
28
对照实验报告模板
标准化的实验报告应包含的内容（实验目… · 数据集 · 基线
对照实验报告模板标准化的实验报告…
29
常见陷阱与误区
数据泄露 · 样本选择偏差 · 多重比较问题
常见陷阱误区
30
案例实战
基于一个虚构的AML交易监控数据集 · 完整演示从实验设计 · 模型训练
案例实战AML