1. 课程导论：团伙识别业务背景、回放验证的核心价值、Kafka与Spark在其中的角色
1.1 团伙识别：从单点对抗到关系网络
在金融风控、电商反欺诈、社交平台治理等领域，传统的规则引擎或单点模型通常只关注“这个账户是否异常”。然而，黑产早已从“单人作案”进化为“有组织、有分工的团伙作案”。团伙识别正是为了应对这一挑战——通过分析实体（账户、设备、IP、手机号等）之间的关联关系，发现隐蔽的群体性欺诈模式。
典型团伙特征：
- 设备聚集：多个账户共用同一设备指纹或同一IP段。
- 资金闭环：资金在少数账户间快速流转，形成闭环。
- 时间同步：多个账户在极短时间内执行相同操作（如注册、领券、交易）。
- 信息复用：手机号、身份证、地址等信息的交叉复用。
团伙识别的核心挑战在于：关系数据规模大（亿级节点、百亿级边）、时效性要求高（需要分钟级甚至秒级发现）、算法复杂度高（图计算、社区发现、标签传播等）。
1.2 回放验证：为什么需要“时光机”？
在团伙识别模型上线前，必须回答一个关键问题：“如果这个模型在历史某个时刻已经运行，它能准确识别出当时正在发生的团伙行为吗？” 传统的离线评估（如A/B测试、离线AUC）只能给出静态指标，无法模拟真实数据流的时间顺序和动态演化。这就是回放验证的核心价值所在。
| 评估方式 | 数据顺序 | 时效性模拟 | 团伙动态演化 | 适用场景 |
|---|---|---|---|---|
| 离线AUC/KS | 随机打乱 | 不模拟 | 不感知 | 模型初选 |
| A/B测试 | 实时 | 真实 | 真实 | 线上验证 |
| 回放验证 | 严格按时间戳 | 完全模拟 | 完整感知 | 模型上线前验证 |
回放验证通过将历史数据按时间顺序重新“播放”到模型或算法中，模拟线上实时处理环境。它能够发现：
- 模型在早期数据不足时的冷启动问题。
- 团伙关系随时间演化的滞后性（如新成员加入、旧成员退出）。
- 数据倾斜或延迟到达对识别效果的影响。
1.3 Kafka与Spark：回放验证的技术双引擎
要实现高保真的回放验证，需要两个核心能力：数据的有序重放和大规模图计算。Kafka与Spark的组合恰好完美匹配这一需求。
技术选型要点： 回放验证不是简单的“把数据读出来跑一遍”，而是要求数据流严格按时间顺序、以可控速率注入计算引擎，同时计算引擎要能处理增量图更新和复杂社区发现算法。
Kafka：时间轴上的数据指挥官
- 分区与有序性：Kafka的分区机制保证同一分区内消息按时间戳严格有序，这是回放验证的基石。
- 可控回放速率：通过调整消费者拉取速率，可以模拟真实流量（如1倍速、10倍速、100倍速）。
- 数据持久化：历史数据存储在Kafka中，支持任意时间点的回放起点和终点。
Spark：图计算与流处理的融合平台
- Structured Streaming：支持基于事件时间的窗口计算，完美对接Kafka的有序数据流。
- GraphX：提供分布式图计算能力，支持PageRank、连通分量、标签传播等团伙识别核心算法。
- 增量图更新：通过累加器或状态管理，实现图结构的动态演化，模拟团伙的实时变化。
1.4 课程核心内容与实战路径
本课程将带领你从零搭建一套完整的团伙识别回放验证系统。你将学到：
- Kafka 环境搭建与数据模拟：构建包含交易、设备、关系等维度的历史数据流。
- Spark Structured Streaming 实时处理：实现基于事件时间的窗口聚合与状态管理。
- GraphX 图算法实战：在回放数据上运行连通分量、标签传播等团伙识别算法。
- 回放验证框架设计：支持多速率回放、断点续跑、结果对比。
- 性能调优与生产化：处理数据倾斜、背压、状态后端优化等真实问题。
前置要求： 建议具备 Scala/Python 基础、了解 Kafka 基本概念（Topic/Partition/Consumer Group）、熟悉 Spark RDD/DataFrame 编程。本课程不从头讲解 Kafka 和 Spark 的基础 API，而是聚焦于回放验证场景下的高级用法和最佳实践。
通过本课程，你将掌握一套可复用的回放验证技术栈，能够自信地回答：“我的团伙识别模型在历史上任何时刻都能有效工作吗？”