1. 课程导论：反欺诈图谱与数据血缘的概念、课程目标与学习路径、前置知识要求

1.1 为什么需要反欺诈图谱与数据血缘

在金融、电商、社交等业务场景中，欺诈行为正从单点攻击演变为团伙化、跨场景、长周期的复杂模式。传统规则引擎和单点机器学习模型难以捕捉以下三类风险：

• 团伙欺诈：多个账户共享设备、IP、联系人，形成隐蔽的关联网络。
• 时序穿透：欺诈行为在时间轴上分散，例如“养号-薅羊毛-洗钱”跨月完成。
• 数据链路断裂：特征加工、模型推理、规则判定的中间结果无法追溯，导致审计和调优困难。

反欺诈图谱（Fraud Knowledge Graph）通过实体（账户、设备、订单）和关系（登录、转账、同设备）构建关联网络，而数据血缘（Data Lineage）则记录每张图谱、每个特征、每条规则从原始数据到最终输出的完整变换过程。两者结合，才能实现可解释、可追溯、可迭代的智能反欺诈体系。

1.2 反欺诈图谱与数据血缘的概念对比

1.3 课程目标与学习路径

本课程面向具备 Spark 基础的数据工程师和反欺诈算法工程师，目标是让学员掌握以下能力：

1. 构建反欺诈图谱：使用 Spark GraphX 从原始交易、设备、登录日志中提取实体和关系，生成属性图。
2. 采集与存储数据血缘：在 Spark 作业中嵌入 OpenLineage 或自定义监听器，记录每个 DataFrame 的输入、变换、输出。
3. 实现回放机制：基于血缘 DAG 对历史数据进行“时间旅行”重算，验证规则有效性或重建图谱快照。
4. 集成实时与离线管道：将回放能力嵌入 Structured Streaming，实现增量图谱更新与血缘追溯。

学习路径分为四个阶段：

1.4 前置知识要求

为顺利学习本课程，建议学员提前掌握以下技能与概念：

• Spark 核心编程：RDD、DataFrame、Dataset 的基本操作，Spark SQL 与 Catalyst 优化器基础。
• Scala 或 Python 基础：课程示例以 Scala 为主，Python（PySpark）也可跟随，但部分 GraphX API 需 Scala。
• 图论基础：节点、边、度、连通分量、社区发现等基本概念。
• 反欺诈业务常识：了解设备指纹、IP 代理、团伙欺诈、薅羊毛等常见风险模式。
• Linux 与 Shell：能够提交 Spark 作业、查看日志、配置环境变量。

1.5 课程使用的技术栈

1.6 课程特色与学习约定

• 实战驱动：每章配套可运行的 Spark 代码示例，并提供测试数据集。
• 血缘贯穿：从第 5 章开始，每个图谱构建作业都附带血缘采集代码。
• 回放验证：第 19 章后，所有案例均支持“回放模式”，可指定时间戳重新计算。
• 版本兼容：代码基于 Spark 3.3+，OpenLineage 1.0+，兼容 CDH、HDP、云原生环境。