VIP20

本课程属于：024-反欺诈图谱低延迟评分接口 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

用Spark构建反欺诈实时评分管道案例

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

反欺诈实时评分管道的业务背景 · 技术选型（Spark Streami… · 课程目标与学习路径

课程概述反欺诈实时评分管…

Spark基础回顾

Spark Core核心概念（RDD · DAG · Shuffle）

Spark基础回顾

反欺诈业务建模

常见欺诈场景（交易欺诈 · 账户盗用 · 薅羊毛）

反欺诈业务建模常见欺诈场景

实时数据源设计

Kafka作为消息队列 · 事件数据格式（JSON/AVRO） · 模拟交易数据生成器

实时数据源设计Kafka

Spark Streaming集成Kafka

Direct Stream方式 · Offset管理 · Exactly-Once语义保证

数据预处理与特征工程

缺失值处理 · 异常值过滤 · 时间窗口聚合（滑动窗口

数据预处理特征工程

特征存储与状态管理

使用mapWithState实现用户… · 状态超时与清理策略

特征存储状态管理

特征向量化

将原始特征转换为MLlib Vect… · 特征缩放（StandardScale… · 类别特征OneHot编码

特征向量化MLlib

离线模型训练

使用历史数据训练逻辑回归/随机森林/… · 模型评估（AUC · KS

离线模型训练使用历史数据训练…

模型保存与加载

MLlib Pipeline模型序列… · 保存到HDFS/对象存储 · 生产环境模型版本管理

模型保存加载

实时模型推理

加载预训练模型到StreamingC… · 对每个微批数据批量预测 · 输出欺诈概率

实时模型推理StreamingC

规则引擎集成

在Spark Streaming中嵌… · 规则热更新机制

规则引擎集成Spark

评分结果输出

将预测分数与规则结果合并 · 输出到Kafka/Redis/Ela…

评分结果输出将预测分数

实时监控与告警

使用Spark Streaming的… · 延迟 · 吞吐量

实时监控告警

反欺诈管道性能优化

并行度调优 · Kafka分区与Spark分区对齐 · 序列化优化（Kryo）

反欺诈管道性能优…并行度调优

状态后端优化

使用RocksDB作为状态后端 · 状态大小监控 · Checkpointing策略

状态后端优化RocksDB

背压机制与流量控制

Spark Streaming背压原… · maxRatePerPartitio… · 动态调整消费速率

背压机制流量控制

容错与数据一致性

Driver HA · WAL预写日志 · Checkpoint恢复

容错数据一致性

多模型集成

集成多个模型（规则+ML+深度学习）… · 模型A/B测试

多模型集成ML+

实时特征回填

从离线Hive/Delta Lake… · 特征新鲜度保证

实时特征回填Hive/Delta

特征存储服务

使用Redis/Alluxio作为在… · 特征键值设计 · 批量加载与实时更新

特征存储服务Redis/Alluxi…

反欺诈管道测试

单元测试（Spark Testing… · 集成测试（Kafka Mock） · 压力测试

反欺诈管道测试Spark

使用Jenkins/GitLab C… · Docker容器化 · Kubernetes部署Spark作…

日志与审计

结构化日志（JSON格式） · 审计追踪（谁在何时做了什么决策） · 日志聚合到ELK

数据漂移检测

实时监控特征分布变化（PSI/KL散… · 触发模型重训练告警

数据漂移检测PSI/KL

模型解释性

使用SHAP/LIME在Spark中… · 输出可解释的欺诈原因

模型解释性SHAP/LIME

实时特征工程进阶

复杂事件处理（CEP） · 图特征（交易网络） · 时序特征（LSTM编码）

实时特征工程进阶CEP

大规模部署实践

Spark on Kubernete… · Spot实例容错 · 多租户隔离

大规模部署实践Spark

端到端构建一个信用卡交易反欺诈管道 · 从数据生成到实时评分展示

案例实战端到端构建一个信…

课程总结与展望

常见踩坑经验 · 未来趋势（Flink vs Spar… · MLOps）

课程总结常见踩坑经验