VIP20
本课程属于：090-反欺诈图谱Kafka回放链路 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

团伙识别回放验证：Kafka与Spark实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
团伙识别业务背景 · 回放验证的核心价值 · Kafka与Spark在其中的角色
课程导论团伙识别业务背景
02
团伙识别基础
什么是团伙识别 · 常见团伙模式（如刷单 · 薅羊毛）
团伙识别基础什么是团伙识别
03
Kafka核心概念
Topic · Partition · Producer
Kafka核心概念
04
Kafka集群搭建
单机与集群部署 · ZooKeeper角色 · 关键配置参数
Kafka集群搭建
05
Kafka生产者实战
发送消息的三种方式（同步 · 异步 · 单向）
Kafka生产者实战
06
Kafka消费者实战
消费者组 · 偏移量提交（自动/手动） · 再均衡监听器
Kafka消费者实战
07
Kafka高级特性
幂等性 · 事务 · Exactly-Once语义
Kafka高级特性
08
Spark Core基础
RDD概念 · 创建RDD的三种方式 · Transformation与Act…
SparkCore
09
Spark Core实战
WordCount案例 · 数据分区 · 持久化与Checkpoint
SparkCore
10
Spark SQL入门
DataFrame与DataSet · SparkSession · SQL查询与DSL
SparkSQL
11
Spark SQL实战
读取Kafka数据 · 使用SQL进行聚合分析 · UDF自定义函数
SparkSQL
12
Spark Streaming基础
DStream概念 · 离散流模型 · 窗口操作
SparkStreaming
13
Spark Structured Streaming
Event-Time处理 · Watermark机制 · 输出模式
SparkStructured
14
Kafka与Spark集成
Direct Stream方式 · Offset管理 · 背压机制
KafkaSpark
15
团伙识别特征工程
时间窗口特征 · 图特征（共现 · 关联）
团伙识别特征工程时间窗口特征
16
实时特征计算
使用Spark Streaming计… · 状态管理
实时特征计算Spark
17
回放验证概念
什么是回放验证 · 离线回放与实时回放的对比 · 验证指标
回放验证概念什么是回放验证
18
回放验证架构设计
数据源层 · 计算层 · 存储层
回放验证架构设计数据源层
19
Kafka作为回放数据源
消息重放机制 · 时间戳控制 · 分区顺序保证
Kafka作为回放数据源
20
Spark回放计算引擎
基于时间戳的窗口重算 · 状态恢复 · Exactly-Once保证
Spark回放计算引擎
21
团伙识别模型部署
模型序列化 · 广播变量 · 模型热更新
团伙识别模型部署模型序列化
22
实时推理Pipeline
Kafka消费→特征提取→模型推理→…
Pipeline实时推理
23
验证指标计算
准确率 · 召回率 · F1-Score
验证指标计算准确率
24
回放结果对比
离线结果与实时结果的一致性校验 · 误差分析
回放结果对比离线结果
25
监控与告警
Kafka监控（Lag · 吞吐） · Spark监控（Stage
监控告警
26
性能调优
Kafka分区数优化 · Spark并行度 · 内存与GC调优
性能调优Kafka
27
数据倾斜处理
Key倾斜 · Join倾斜 · 窗口倾斜的解决方案
数据倾斜处理Key
28
容错与高可用
Kafka副本机制 · Spark Driver HA · Checkpoint恢复
容错高可用
29
实战案例一
电商刷单团伙识别回放验证
实战案例一电商刷单团伙识别…
30
实战案例二
金融薅羊毛团伙识别回放验证与课程总结
实战案例二金融薅羊毛团伙识…