📚 课程目录第1章课程导论与背景

1. 课程导论与背景：实时反欺诈的行业痛点、图谱技术优势、Flink 在反欺诈中的核心价值

在数字化金融、电商、社交与支付场景中，欺诈攻击已从单点、低频、规则可覆盖的形态，演变为团伙化、工具化、实时化、跨场景的复杂对抗。传统基于静态规则或单点机器学习的反欺诈系统，在以下四个维度面临严峻挑战：

痛点维度	具体表现	业务影响
数据孤岛与特征稀疏	设备指纹、账户行为、交易流水、社交关系等数据分散在不同系统，缺乏关联；单笔交易特征维度不足 50 维，难以识别复杂模式。	误杀率（FPR）高，正常用户被拦截；漏报率（FNR）高，欺诈交易穿透防线。
团伙欺诈隐蔽性强	黑产利用养号、设备农场、IP 池、打码平台等手段，模拟正常用户行为；单点规则无法发现多账户之间的资金环流、设备共用、IP 聚集等团伙信号。	团伙欺诈造成的损失占整体欺诈损失的 60% 以上（行业调研数据）。
实时性要求极高	支付、转账、信贷审批等场景要求毫秒级（<100ms）决策；批处理或 T+1 分析无法拦截瞬时攻击。	资金损失不可逆，且影响用户体验与平台声誉。
规则维护成本高、迭代慢	专家规则需人工编写、测试、上线；黑产策略变化快，规则更新周期通常以周或月计，滞后于攻击。	运营团队疲于应对，规则库膨胀但效果递减。

  关键数据： 据行业报告，2023 年全球在线支付欺诈损失超过 480 亿美元，其中实时欺诈（秒级内完成资金转移）占比超过 70%。传统反欺诈系统在团伙识别场景下的准确率普遍低于 65%。

知识图谱（Knowledge Graph）通过实体（用户、设备、IP、订单、银行卡等）和关系（登录、转账、同设备、同 IP 等）构建大规模异构图，将反欺诈分析从“单点特征”提升到“关系网络”层面。其核心优势体现在：

多跳关联挖掘： 通过图遍历（如 1~3 跳邻居查询），发现看似无关的实体之间的隐藏路径。例如：A 账户转账给 B，B 登录设备与 C 相同，C 的注册 IP 与 D 相同，D 被标记为欺诈——则 A 的风险等级自动提升。
团伙模式识别： 利用社区发现算法（如 Louvain、标签传播）自动聚类出高度连通的子图，识别设备农场、洗钱团伙、羊毛党集团。
实时图特征计算： 在交易发生时，实时计算该实体在图中的度、聚类系数、PageRank、同配性等图特征，作为机器学习模型的高阶输入。
可解释性强： 图路径天然提供决策依据（“因为 A 与已确认欺诈节点 B 存在 2 跳以内的设备关联”），满足监管合规要求。

Apache Flink 作为业界领先的流式计算引擎，天然具备处理实时反欺诈场景所需的核心能力。其价值体现在以下四个层面：

核心能力	Flink 实现机制	反欺诈场景价值
真正的流处理（True Streaming）	基于 Dataflow 模型，每条记录到达即处理，延迟亚秒级；支持事件时间（Event Time）语义，处理乱序数据。	交易发生时立即触发规则/模型，实现毫秒级决策，拦截实时欺诈。
有状态计算（Stateful Processing）	内置 Keyed State、ValueState、MapState、ListState 等，支持在算子内维护用户画像、设备指纹、滑动窗口计数等状态。	实时计算“过去 5 分钟同一 IP 登录次数”、“过去 1 小时同一设备交易金额”等时序特征，无需依赖外部存储。
CEP（复杂事件处理）	Flink CEP 库支持定义事件模式（Pattern API），如“A 事件后 10 秒内出现 B 事件且满足条件 C”。	识别“小额试探 → 大额转账 → 快速提现”等欺诈行为序列，触发告警或阻断。
图计算集成（Graph Processing）	通过 Flink Gelly 或外部图数据库（如 Neo4j、JanusGraph）的实时导入，支持流式图更新与查询。	实时更新实体关系图，在交易时查询 1~3 跳邻居，计算图特征，实现图谱增强的反欺诈决策。

Flink 在反欺诈中的典型架构定位： 作为实时计算引擎，Flink 位于数据接入层（Kafka/Pulsar）与决策输出层（规则引擎/模型服务/图数据库）之间，负责流式 ETL、特征计算、CEP 模式匹配、图特征提取，并将结果毫秒级推送给下游决策系统。

本教程将围绕 Flink + 知识图谱 + 实时反欺诈 三大技术支柱展开，覆盖从环境搭建、数据接入、图建模、实时特征计算、CEP 规则编写到图谱查询与模型集成的完整链路。课程适合具备一定 Java/Scala 基础、了解流处理概念的反欺诈工程师、大数据开发人员及架构师。

前置要求： 建议学习者提前了解 Flink DataStream API 基础、图数据库基本概念（节点/边/属性）、以及常见的反欺诈业务场景（如注册风控、交易反欺诈、信贷审核）。本课程不从头讲解 Flink 入门语法，但会在每章提供必要的代码注释与架构说明。