1. 课程导论：团伙识别业务背景、Flink在反欺诈中的定位、特征服务架构总览
1.1 团伙欺诈的业务背景与挑战
在数字化金融、电商、社交等场景中，欺诈行为已从单点个体攻击演变为有组织、有分工、有工具的团伙欺诈。团伙欺诈利用虚假身份、设备农场、猫池、自动化脚本等手段，批量注册、养号、薅羊毛、洗钱，给企业造成巨大经济损失。
核心痛点：单点规则（如IP黑名单、设备指纹）无法识别团伙间的隐蔽关联。团伙成员会刻意分散行为特征，但会在设备、网络、资金、社交关系等维度形成弱关联图谱。
团伙识别面临三大挑战：
| 挑战维度 | 具体描述 | 传统方案局限 |
|---|---|---|
| 数据稀疏性 | 单个成员行为看似正常，团伙关联隐藏在低频交叉事件中 | 规则引擎无法覆盖长尾关联 |
| 实时性要求 | 团伙在秒级完成批量操作，事后分析已造成损失 | 离线图计算延迟高，无法拦截 |
| 特征动态演化 | 团伙会快速切换设备、IP、账号，静态特征失效快 | 模型更新周期长，跟不上对抗节奏 |
1.2 Flink在反欺诈中的核心定位
Apache Flink 作为业界领先的流式计算引擎，在反欺诈领域承担了实时特征计算与实时图关联两大核心职责。其定位可概括为：
- 实时特征工厂：在毫秒级窗口内完成聚合、计数、去重、比率等特征计算，支撑规则与模型实时决策。
- 流式图计算引擎：基于事件流实时构建动态图，支持团伙检测算子（如连通分量、社区发现、标签传播）。
- 状态管理与回溯：利用 Flink State 存储历史行为画像，支持跨会话、跨设备的关联查询。
关键能力对比：Flink 相比 Spark Streaming 在反欺诈场景的优势在于精确一次语义、事件时间处理、原生状态管理，这些特性对团伙识别的准确性至关重要。
| 能力维度 | Flink | 传统批处理/微批 |
|---|---|---|
| 延迟 | 亚秒级（纯流） | 分钟级（批/微批） |
| 状态管理 | 原生 Keyed State / Operator State | 依赖外部存储（Redis/HBase） |
| 事件时间语义 | 原生支持，watermark 机制 | 需额外实现 |
| 图计算 | Gelly 库 + 自定义算子 | 离线图框架 |
1.3 特征服务架构总览
本课程的核心架构——Flink 特征服务，是一个面向反欺诈团伙识别的实时特征生产与分发平台。整体架构分为四层：
1.4 架构核心设计要点
- 事件驱动：所有特征计算以事件流为驱动，Flink 消费 Kafka 实时事件，避免轮询或批处理延迟。
- 状态与图融合：Flink 的 Keyed State 存储个体画像，同时利用 Gelly 或自定义算子维护动态图结构，实现“个体特征 + 团伙关系”双维度计算。
- 特征复用：计算后的特征写入在线存储（Redis/HBase），供规则引擎、模型服务、人工审核等下游低延迟调用。
- 闭环反馈：人工审核结果、模型评分可回流至 Flink，更新状态或触发图结构变更，形成自适应对抗闭环。
常见误区：不要将 Flink 当作简单的“流式 ETL”工具。在团伙识别场景中，状态大小管理（如设备关联图可能膨胀）、事件时间对齐（跨时区数据）、算子并行度调优是决定架构成败的关键，后续章节会逐一深入。
1.5 本课程学习路径
本指南共 30 章，从基础概念到生产实战，覆盖以下核心模块：
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 基础篇 | 第 1-5 章 | 团伙识别业务、Flink 流处理基础、特征工程概念 |
| 特征计算篇 | 第 6-12 章 | 窗口聚合、状态编程、自定义算子、特征存储设计 |
| 图计算篇 | 第 13-20 章 | 流式图构建、连通分量、社区发现、标签传播算法 |
| 生产实战篇 | 第 21-28 章 | 性能调优、状态管理、容错、监控、灰度发布 |
| 案例与总结 | 第 29-30 章 | 电商薅羊毛团伙识别实战、金融洗钱链路挖掘 |
学习建议：建议先掌握 Flink 基础 API（DataStream / Table API），再深入状态与图计算部分。每章末尾的实战代码可直接在本地 Flink 集群或 Flink SQL 客户端运行验证。