VIP20
本课程属于：090-反欺诈图谱Kafka回放链路 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

反欺诈LightGBMKafka回放链路学习资料

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
反欺诈业务背景 · LightGBM在风控中的优势 · Kafka回放链路整体架构概览
课程导论反欺诈业务背景
02
反欺诈基础概念
欺诈类型（账户盗用 · 交易欺诈 · 薅羊毛）
反欺诈基础概念欺诈类型
03
LightGBM原理精讲
直方图算法 · Leaf-wise生长策略 · 梯度单边采样（GOSS）
LightGBM原理精讲
04
LightGBM与XGBoost对比
训练速度 · 内存占用 · 准确率
LightGBMXGBoost
05
Kafka核心概念
Topic · Partition · Consumer Group
Kafka核心概念
06
Kafka生产者与消费者
生产者ACK机制 · 消费者Rebalance · 手动提交与自动提交
Kafka生产者
07
Kafka Streams入门
流处理拓扑 · 状态存储 · 窗口操作
KafkaStreams
08
回放链路设计原理
为什么需要回放？离线回放 vs 实时… · 时间戳对齐 · 状态一致性保证
回放链路设计原理vs
09
回放链路整体架构
数据源层 · Kafka管道层 · 特征计算层
回放链路整体架构数据源层
10
数据源接入
MySQL Binlog采集 · 日志采集（Filebeat/Flum… · API数据接入
数据源接入MySQL
11
特征工程在Kafka中的实现
滑动窗口特征 · 聚合特征 · 时序特征
Kafka特征工程
12
LightGBM模型训练与导出
训练数据准备 · 超参数调优（Grid Search/… · 模型序列化（PMML/ONNX/M5…
LightGBM模型训练
13
模型部署到Kafka推理服务
模型加载 · 特征向量组装 · 批量推理
Kafka模型部署到
14
Kafka回放链路数据流设计
Source Connector · Processor · Sink Connector
Kafka回放链路数据流设…
15
时间戳管理与水位线
事件时间 · 处理时间 · 摄入时间
时间戳管理水位线
16
状态管理与容错
状态后端（RocksDB/In-Me… · Checkpoint机制 · 故障恢复
状态管理容错
17
回放链路性能优化
分区数调优 · 批量大小 · 压缩策略
回放链路性能优化分区数调优
18
反欺诈规则引擎与模型融合
规则前置过滤 · 模型分数与规则分数加权 · 动态阈值调整
反欺诈规则引擎模型融合
19
实时特征计算实战
基于Kafka Streams的滑动… · 均值 · 标准差
实时特征计算实战Kafka
20
模型推理服务高可用设计
多副本部署 · 负载均衡 · 降级策略
模型推理服务高可…多副本部署
21
回放链路监控与告警
延迟监控 · 吞吐量监控 · 模型分数分布监控
回放链路监控告警
22
数据一致性校验
回放结果与原始结果对比 · 数据漂移检测 · 特征一致性校验
数据一致性校验回放结果
23
A/B测试与灰度发布
回放链路A/B测试设计 · 流量切分 · 实验指标
A/B测试
24
多租户与资源隔离
Topic隔离 · Consumer Group隔离 · 计算资源隔离
多租户资源隔离
25
安全与合规
数据脱敏 · 加密传输 · 审计日志
安全合规
26
大规模回放链路实战案例
亿级事件/天 · 百个特征 · 千QPS场景下的架构设计与调优
大规模回放链路实…亿级事件
27
回放链路自动化测试
单元测试 · 集成测试 · 压力测试
回放链路自动化测…单元测试
28
CI/CD与模型持续交付
模型版本管理 · 自动训练流水线 · 自动部署到Kafka推理服务
CI/CD模型持续交付
29
常见问题与排错
数据倾斜 · OOM · 序列化异常
常见问题排错
30
课程总结与展望
反欺诈技术趋势 · 实时机器学习 · Flink与Kafka结合
课程总结反欺诈技术趋势