VIP20
本课程属于：090-反欺诈图谱Kafka回放链路 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Spark回放反欺诈图谱数据血缘教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
反欺诈图谱与数据血缘的概念 · 课程目标与学习路径 · 前置知识要求
课程导论反欺诈图谱
02
反欺诈图谱基础
图谱数据结构（节点 · 边 · 属性）
反欺诈图谱基础图谱数据结构
03
数据血缘基础
数据血缘定义 · 为什么在反欺诈中需要血缘 · 血缘的粒度（表级
数据血缘基础数据血缘定义
04
Spark核心回顾
RDD · DataFrame · Dataset概念
Spark核心回顾
05
Spark回放机制原理
什么是Spark回放（Replay） · 回放与重计算的异同 · 回放在血缘追溯中的价值
Spark回放机制原理
06
反欺诈图谱构建
从原始日志到图谱的ETL流程 · 实体抽取与关系抽取 · 使用Spark GraphX构建图谱
反欺诈图谱构建ETL
07
数据血缘采集策略
基于Spark Listener的血… · 基于SQL解析的血缘采集 · 基于AOP切面的采集
数据血缘采集策略Spark
08
OpenLineage集成
OpenLineage标准介绍 · 在Spark中配置OpenLinea… · OpenLineage事件结构解析
OpenLineage集成
09
Atlas集成
Apache Atlas元数据管理 · Spark与Atlas的Hook集成 · 血缘数据在Atlas中的展示
Atlas集成
10
自定义血缘采集器
开发Spark插件采集血缘 · 自定义Spark SQL Exten… · 血缘数据序列化与存储
自定义血缘采集器Spark
11
血缘存储选型
Neo4j图数据库存储血缘 · JanusGraph存储方案 · Elasticsearch索引血缘
血缘存储选型Neo4j
12
回放场景一
历史数据回溯——基于时间戳的增量回放 · Checkpoint与回放起点控制
回放场景一历史数据回溯
13
回放场景二
异常检测回放——识别欺诈模式变化 · 回放特定时间窗口的图谱变更
回放场景二异常检测回放
14
回放场景三
模型验证回放——回放历史数据验证反欺… · A/B测试回放
回放场景三模型验证回放
15
血缘查询与可视化
使用Gremlin/Cypher查询… · 基于D3.js的血缘图可视化 · 血缘影响分析
血缘查询可视化
16
反欺诈图谱的增量更新
基于Spark Streaming的… · 增量血缘与全量血缘的合并
反欺诈图谱的增量…Spark
17
数据质量与血缘校验
血缘完整性校验 · 字段级血缘断链检测 · 回放结果一致性校验
数据质量血缘校验
18
性能优化
Spark Shuffle优化 · 血缘采集对作业性能的影响 · 异步血缘上报策略
性能优化Spark
19
安全与权限
血缘数据的访问控制 · 敏感字段脱敏 · 审计日志与血缘追溯
安全权限
20
实战案例一
设备指纹团伙欺诈检测——从设备日志到… · 回放识别设备关联变化
实战案例一设备指纹团伙欺诈…
21
实战案例二
交易链路反欺诈——交易流水血缘追溯 · 回放发现资金异常流转
实战案例二交易链路反欺诈
22
实战案例三
账户登录异常检测——登录事件图谱构建 · 回放分析登录设备变迁
实战案例三账户登录异常检测
23
实战案例四
信贷申请反欺诈——申请资料血缘关联 · 回放识别资料伪造模式
实战案例四信贷申请反欺诈
24
血缘与机器学习特征工程
从血缘中提取特征 · 特征血缘追溯 · 特征回放验证
血缘机器学习特征工程
25
大规模图谱血缘处理
千亿级边图谱的血缘采集 · 分布式血缘存储 · Spark on Kubernete…
大规模图谱血缘处…千亿级边图谱的血…
26
监控与告警
血缘采集延迟监控 · 回放作业状态监控 · 血缘断链告警
监控告警
27
测试与调试
单元测试血缘采集逻辑 · 集成测试回放流程 · 使用Spark History Se…
测试调试
28
最佳实践
血缘命名规范 · 回放频率设计 · 图谱与血缘的版本管理
最佳实践血缘命名规范
29
常见问题与解决方案
血缘数据丢失 · 回放结果不一致 · 性能瓶颈排查
常见问题解决方案
30
课程总结与展望
反欺诈图谱血缘的未来趋势 · 与数据湖/数据网格的融合 · 推荐学习资源
课程总结反欺诈图谱血缘的…