1. 课程导论：图谱欺诈检测的背景、Spark在图计算中的优势、课程目标与学习路径
1.1 图谱欺诈检测的背景
传统基于规则或单点特征的欺诈检测（如设备指纹、IP地址、交易金额阈值）在面对有组织的、隐蔽的欺诈团伙时，效果急剧下降。欺诈者通过伪造身份、设备农场、养号、关联交易等手段，使得单点特征高度相似，难以区分。
图谱技术的核心价值在于将数据从“个体”视角提升到“关系”视角。通过构建实体（如用户、设备、手机号、银行卡）之间的关联图，可以挖掘出孤立特征无法发现的异常模式，例如：
- 团伙识别：多个账户共享同一设备、同一IP或同一联系人，形成密集子图。
- 环状交易：资金在多个账户间循环流转，无真实消费场景。
- 二度关联风险：一个高风险实体通过中间节点传导风险给其他实体。
关键洞察： 在金融风控领域，基于图谱的欺诈检测模型相比传统LR/GBDT模型，在团伙欺诈识别率上通常可提升30%-50%，误报率降低20%以上。
1.2 图谱欺诈检测的典型场景
| 场景 | 图谱结构 | 欺诈模式 |
|---|---|---|
| 信贷申请反欺诈 | 申请人 → 手机号 → 设备 → 联系人 | 多头借贷、设备农场、虚假联系人 |
| 交易反欺诈 | 付款方 → 银行卡 → 收款方 → IP | 洗钱、套现、资金归集 |
| 账户安全 | 登录账号 → 设备 → 地理位置 | 撞库、盗号、异常登录 |
| 电商风控 | 买家 → 收货地址 → 卖家 → 优惠券 | 刷单、薅羊毛、虚假交易 |
1.3 Spark在图计算中的优势
大规模图谱（节点数亿、边数十亿）的处理对计算引擎提出了极高要求。Apache Spark凭借其成熟的生态和分布式计算能力，成为图谱欺诈评分工程落地的首选平台。其核心优势体现在以下维度：
| 维度 | Spark优势 | 传统方案对比 |
|---|---|---|
| 计算规模 | 支持千台集群，处理百亿级边 | 单机图数据库（如Neo4j）受限于内存 |
| 图算法库 | GraphX内置PageRank、连通分量、标签传播等 | 需自行实现分布式版本 |
| 批流一体 | 可同时处理离线全量图与实时增量流 | 需两套系统维护 |
| 生态集成 | 与Hive、HBase、Kafka、MLlib无缝对接 | 异构系统集成成本高 |
| 容错性 | 基于RDD的血统机制，节点故障自动恢复 | MPI或自研框架容错复杂 |
实践建议： 对于图谱欺诈评分，通常使用Spark GraphX进行特征工程（如计算邻居风险分、二度关联密度），再结合Spark MLlib训练评分模型。这种组合既能利用图的结构信息，又能发挥传统机器学习的高效性。
1.4 课程目标与学习路径
本课程旨在帮助学员掌握使用Apache Spark进行大规模图谱数据处理，并构建端到端欺诈评分系统的核心技能。课程从基础概念出发，逐步深入到生产级实践。
课程核心目标
- 理解图谱欺诈检测的数学与业务基础：图论基础、欺诈模式图谱化表达。
- 掌握Spark GraphX编程：属性图构建、聚合消息、常用图算法实现。
- 构建欺诈评分特征：基于图结构提取风险特征，如邻居风险熵、社区密度、最短路径等。
- 实现生产级评分Pipeline：离线训练 + 实时评分，处理数据倾斜与性能优化。
- 实战演练：基于真实风控场景的数据集完成完整项目。
推荐学习路径
- 基础篇（第1-5章）：图谱欺诈检测概述、Spark环境搭建、GraphX核心API。
- 算法篇（第6-12章）：连通分量、标签传播、PageRank、社区发现算法在风控中的应用。
- 特征篇（第13-18章）：图特征工程、邻居聚合、图嵌入（Node2Vec、GraphSAGE）实践。
- 工程篇（第19-25章）：大规模图优化、实时流处理、模型部署与监控。
- 实战篇（第26-30章）：完整信贷反欺诈项目、交易反欺诈项目、课程总结与进阶方向。
前置要求： 学员需具备基础的Scala或Python编程能力，了解Spark RDD/DataFrame基本操作。无需图计算或风控背景，课程会从零讲解核心概念。