📚 课程目录第1章课程导论与反欺诈背景

1. 课程导论与反欺诈背景：Flink在实时反欺诈中的核心价值、特征服务与知识图谱的融合架构

金融支付、电商交易、社交平台等场景下的欺诈行为正从“单点攻击”演变为“团伙作案、设备模拟、时序漂移”的复合型攻击。传统基于离线规则或批处理模型的检测手段，在延迟、覆盖率和对抗性上已难以满足业务要求。

  关键数据特征： 实时反欺诈流数据具有高吞吐（万级~百万级 TPS）、乱序到达、维度稀疏、标签延迟（部分交易需事后确认）等特点，要求计算引擎同时具备低延迟、精确一次语义、状态容错三大能力。

Apache Flink 凭借其纯流式架构、事件时间语义、精确一次状态一致性、CEP（复杂事件处理）以及丰富的 DataStream/SQL API，成为实时反欺诈场景的首选计算引擎。其核心价值体现在以下四个层面：

毫秒级端到端延迟： 基于内存的流式计算，无需微批次调度，单条事件即可触发特征计算与规则评估。
事件时间语义与乱序处理： 通过 Watermark 机制正确处理网络延迟、重试导致的乱序数据，保证滑动窗口特征（如“过去5分钟同一设备登录次数”）的准确性。
有状态计算与精确一次： 内置 RocksDB 状态后端 + 分布式快照（Checkpoint），在节点故障时自动恢复，不丢不重，保障反欺诈决策的审计完整性。
CEP 与动态规则热更新： 支持模式匹配（如“A事件后5秒内出现B事件”），结合 Flink SQL + 规则引擎可实现规则热加载，快速响应新型欺诈手法。

实战经验： 在头部支付公司的反欺诈系统中，Flink 承担了 80% 以上的实时特征计算任务，单集群日均处理超过 200 亿条事件，P99 延迟控制在 200ms 以内。

传统反欺诈模型依赖离线 Hive/Spark 生成的特征宽表，无法满足实时评分需求。特征服务（Feature Service）将特征计算逻辑从模型训练中解耦，提供在线特征获取、实时特征计算、特征版本管理三大能力。

特征类型	计算方式	存储介质	延迟要求
静态特征	离线批处理（T+1）	MySQL / HBase	分钟级
滑动窗口特征	Flink 实时聚合（滑动/滚动窗口）	Redis / 内存状态	毫秒~秒级
序列特征	Flink CEP / 自定义 ProcessFunction	RocksDB 状态	秒级
图谱特征	实时图计算（邻域聚合、路径计数）	图数据库 / 内存邻接表	百毫秒~秒级

在本课程中，我们将基于 Flink 构建一套统一特征服务层，将离线预计算特征、实时窗口特征、图谱特征通过统一的 API 暴露给在线评分引擎，实现特征逻辑的复用与热更新。

知识图谱通过实体（账户、设备、IP、手机号、银行卡）和关系（登录、转账、同设备、同IP）构建关联网络，能够有效检测团伙欺诈、设备农场、养号洗钱等单点规则无法覆盖的复杂场景。

注意： 传统离线图谱更新周期长（小时~天级），无法捕捉秒级变化的团伙行为。实时图谱要求图结构增量更新、查询延迟可控，这对计算引擎和存储系统提出了极高要求。

本课程的核心架构将 Flink 的实时计算能力、特征服务的在线特征管理能力、知识图谱的关联推理能力进行深度融合，形成一套端到端实时反欺诈图谱系统。

  架构要点： 数据源经过 Flink 实时清洗与特征计算后，分别写入特征服务层（存储实时窗口特征与序列特征）和知识图谱层（增量更新图结构）。在线评分引擎同时拉取特征和图谱关联结果，进行综合决策。Flink 的 Checkpoint 机制保证了特征和图谱数据的一致性。

本课程共 30 章，从 Flink 基础环境搭建开始，逐步深入到特征服务设计、图谱构建、实时推理引擎开发，最终完成一个可运行的实时反欺诈图谱系统。以下是前 5 章的核心内容预览：