1. 课程导论：什么是Kafka回放链路？什么是团伙识别？课程目标与适用人群
1.1 什么是Kafka回放链路？
在实时数据流处理中，Kafka 作为高吞吐、持久化的消息中间件，天然支持消息回放（Replay）。所谓 Kafka 回放链路，是指将已写入 Kafka Topic 的历史消息，按照业务时间戳或偏移量重新消费，并经过流处理引擎（如 Kafka Streams、Flink、Spark Streaming）进行二次加工的数据管道。
回放链路的核心价值在于：
- 数据回溯：修复因代码 Bug 或模型误判导致的线上数据偏差。
- 模型迭代：用历史全量数据重新训练或验证风控模型。
- 离线仿真：在准实时环境中模拟真实流量，评估新策略效果。
关键特征：回放链路不是简单的“重读消息”，而是需要保持时序一致性、状态完整性和幂等性，否则会导致团伙识别结果错乱。
1.2 什么是团伙识别？
团伙识别（Collusion Detection / Gang Identification）是反欺诈领域的核心难题。它指从海量用户行为数据中，发现有组织、有目的、协同作案的群体，而非孤立个体。典型的团伙场景包括：
- 刷单团伙：多个账号共用设备、IP、支付方式，集中下单骗取补贴。
- 羊毛党：通过脚本批量注册，利用新人优惠套利。
- 恶意投诉团伙：同一组织批量发起虚假投诉，敲诈商家。
- 洗钱跑分团伙：多层账户转账，拆分资金规避风控。
| 维度 | 个体欺诈 | 团伙欺诈 |
|---|---|---|
| 行为模式 | 单点异常，特征明显 | 多点协同，特征分散 |
| 检测难度 | 规则/模型易命中 | 需图分析 + 时序关联 |
| 数据需求 | 单用户特征即可 | 需要用户间关联关系 |
| 对抗性 | 低，攻击者单打独斗 | 高，团伙会主动变异 |
实战经验：团伙识别不能只看“是否关联”，还要看关联的时间窗口和行为序列的相似度。例如，10个账号在5分钟内用同一设备登录，比10天内陆续登录的团伙置信度高得多。
1.3 课程目标
本课程旨在帮助学员掌握基于Kafka回放链路构建团伙识别模型的完整方法论与工程实践。完成本课程后，学员将能够：
- 理解回放链路的架构设计：掌握Kafka Topic设计、消费组管理、偏移量重置策略。
- 构建实时团伙特征：利用滑动窗口、图聚合、序列模式挖掘等技术提取团伙行为特征。
- 实现模型训练与推理：在回放链路上集成图神经网络（GNN）或规则引擎，完成团伙打分。
- 应对生产环境挑战：处理数据倾斜、状态膨胀、回放性能调优等实际问题。
1.4 适用人群
| 角色 | 前置知识要求 | 本课程价值 |
|---|---|---|
| 数据工程师 | 熟悉Kafka基础操作、Java/Python | 掌握回放链路搭建、状态管理、性能优化 |
| 反欺诈算法工程师 | 了解图算法、机器学习基础 | 学会在流式数据上部署团伙识别模型 |
| 风控策略分析师 | 了解SQL、基本统计概念 | 理解团伙特征计算逻辑，提升策略迭代效率 |
| 技术管理者 | 具备系统架构视野 | 评估回放链路方案的技术选型与成本 |
注意：本课程不包含Kafka基础安装部署教学，也不涉及深度学习框架的底层原理。学员需具备至少6个月的Kafka或流处理引擎使用经验。