VIP20
本课程属于：003-实时交易风控训练集切分 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时风控模型训练集构建全流程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论与业务背景
实时风控的定义 · 典型业务场景（支付 · 信贷
课程导论业务背景
02
实时数据源接入架构
消息队列（Kafka/Pulsar）… · 实时日志采集（Flume/Fileb… · 数据接入的可靠性保障机制
实时数据源接入架…Kafka/Pulsar
03
实时特征工程基础
滑动窗口统计（计数 · 求和 · 均值）
实时特征工程基础滑动窗口统计
04
实时特征存储选型
Redis · HBase · TiKV的对比
实时特征存储选型Redis
05
样本标签定义与延迟处理
好坏样本定义（逾期 · 欺诈 · 盗刷）
样本标签定义延迟处理
06
实时样本拼接逻辑
基于主键的流式Join · 特征与标签的时间对齐 · 样本唯一性去重（幂等性设计）
实时样本拼接逻辑Join
07
正负样本采样策略
实时场景下的下采样（Random D… · 上采样（SMOTE变体） · 样本权重动态调整
正负样本采样策略Random
08
实时训练集的数据质量监控
空值率 · 异常值检测 · 分布漂移（PSI/Cramer‘s…
实时训练集的数据…空值率
09
特征回溯与时间穿越问题
特征泄露的常见原因 · 严格的时间戳校验 · 回溯测试（Backtesting）方…
特征回溯时间穿越问题
10
实时特征计算引擎
Flink SQL vs Flink… · 状态后端选择（RocksDB） · Checkpoint与Savepoi…
实时特征计算引擎Flink
11
实时样本库的存储设计
HDFS分区策略 · Parquet/ORC列式存储 · 实时写入与离线批量读取的兼容
实时样本库的存储…HDFS
12
特征重要性实时评估
在线信息增益比 · Permutation Import… · 特征淘汰与准入机制
特征重要性实时评…线信息增益比
13
实时训练集的版本管理
基于时间戳的版本快照 · 特征Schema演进（Schema… · 回滚与重放策略
实时训练集的版本…基于时间戳的版本…
14
数据漂移检测与自适应采样
实时计算特征分布KL散度 · 触发重采样阈值 · 自动调整样本权重
数据漂移检测自适应采样
15
实时特征与标签的延迟补偿
迟到数据（Late Data）处理 · Watermark机制 · Allowed Lateness策略
实时特征标签的延迟补偿
16
训练集构建的端到端延迟优化
Pipeline瓶颈分析 · 并行度调优 · 数据序列化（Avro/Protobu…
训练集构建的端到…Pipeline
17
实时样本的隐私与脱敏处理
PII字段识别 · 动态脱敏（Tokenization/… · 差分隐私在实时流中的应用
实时样本的隐私脱敏处理
18
多业务线样本隔离与共享
租户隔离设计 · 特征共享池 · 样本标签的跨业务映射
多业务线样本隔离共享
19
实时训练集的监控大盘设计
核心指标（样本量 · 正样本率 · 特征覆盖率）
实时训练集的监控…核心指标
20
A/B测试与实时训练集
分流策略（Hash/随机） · 实验组与对照组样本一致性保障 · 效果评估指标
A/B测试
21
实时特征工程自动化
AutoFeatureGen框架 · 基于元数据的自动特征生成 · 特征有效性预筛选
实时特征工程自动…AutoFeatureG…
22
样本存储的冷热分离
热数据（Redis/SSD） · 冷数据（HDFS/对象存储） · 数据生命周期管理（ILM）
样本存储的冷热分…Redis/SSD
23
实时模型训练触发策略
基于样本量阈值触发 · 基于时间窗口触发 · 基于数据漂移触发
实时模型训练触发…基于样本量阈值触…
24
训练集构建的容错与恢复
Flink Exactly-Once… · 幂等写入 · 故障后样本补齐机制
训练集构建的容错恢复
25
实时特征与外部数据源融合
三方数据API调用 · 特征缓存策略 · 外部服务降级与熔断
实时特征外部数据源融合
26
训练集构建的成本控制
计算资源弹性伸缩 · 存储压缩比优化 · 冷数据归档策略
训练集构建的成本…计算资源弹性伸缩
27
实时样本的标注与反馈闭环
人工标注接口设计 · 标注结果回流 · 半监督学习样本扩充
实时样本的标注反馈闭环
28
跨时间窗口的特征一致性校验
T+0与T+1特征对比 · 特征值波动监控 · 异常特征自动剔除
跨时间窗口的特征…T+0
29
实时训练集在模型迭代中的应用
增量训练（Online Learni… · 全量重训触发条件 · 模型版本与样本版本对齐
实时训练集模型迭代
30
课程总结与最佳实践
全流程架构回顾 · 常见踩坑点（数据倾斜 · 状态膨胀
课程总结最佳实践