VIP20
本课程属于：071-金融特征缺失巡检 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka实时特征流缺失巡检案例

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
实时特征流缺失巡检的背景 · 痛点与课程目标
课程导论实时特征流缺失巡…
02
Kafka核心概念回顾
Topic · Partition · Offset
Kafka核心概念回顾
03
特征流数据模型设计
特征键(Feature Key) · 时间戳 · 特征值
特征流数据模型设…Feature
04
缺失特征的定义与分类
完全缺失 · 部分缺失 · 延迟到达
缺失特征的定义分类
05
Kafka生产者端特征发送策略
同步发送 · 异步发送 · 批量发送对缺失的影响
Kafka生产者端特征发送…
06
Kafka消费者端特征消费确认机制
自动提交 vs 手动提交 · 至少一次 vs 精确一次语义
Kafka消费者端特征消费…
07
特征流缺失巡检系统架构设计
采集层 · 检测层 · 告警层
特征流缺失巡检系…采集层
08
基于时间窗口的缺失检测算法
滑动窗口 · 会话窗口 · 计数窗口原理
基于时间窗口的缺…滑动窗口
09
特征序列完整性校验
基于特征ID与预期频率的校验逻辑
特征序列完整性校…ID
10
延迟特征检测与标记
利用Kafka消息时间戳与系统时间差…
延迟特征检测标记
11
乱序特征检测与重排序
基于Sequence Number的…
乱序特征检测重排序
12
特征缺失率统计与趋势分析
实时计算缺失率 · 环比 · 同比
特征缺失率统计趋势分析
13
Kafka Streams实现缺失巡检
拓扑设计 · 状态存储 · 窗口操作
KafkaStreams
14
Flink SQL实现缺失巡检
Table API · 窗口聚合 · CEP模式匹配
FlinkSQL
15
缺失特征告警策略设计
阈值告警 · 趋势告警 · 静默期
缺失特征告警策略…阈值告警
16
告警通知集成
钉钉 · 企业微信 · 邮件
告警通知集成钉钉
17
特征缺失自动修复策略
回填默认值 · 历史均值 · 模型预测值
特征缺失自动修复…回填默认值
18
修复补偿消息发送
将修复后的特征重新写入Kafka修复…
修复补偿消息发送Kafka
19
巡检结果持久化与可视化
Elasticsearch存储 +…
巡检结果持久化可视化
20
特征血缘追踪
从特征生产到消费全链路缺失根因定位
特征血缘追踪从特征生产到消费…
21
多数据中心特征流缺失巡检
跨集群复制 · 延迟与缺失的关联分析
多数据心特征流缺失巡检
22
大规模特征流性能优化
分区数调整 · 批量大小 · 缓冲区调优
大规模特征流性能…分区数调整
23
特征缺失巡检的测试策略
单元测试 · 集成测试 · 混沌工程测试
特征缺失巡检的测…单元测试
24
生产环境部署与运维
监控指标 · 日志采集 · 巡检任务健康检查
生产环境部署运维
25
案例实战一
用户画像特征流缺失巡检与自动修复
案例实战一用户画像特征流缺…
26
案例实战二
风控模型特征流延迟与乱序检测
案例实战二风控模型特征流延…
27
案例实战三
推荐系统实时特征完整性保障
案例实战三推荐系统实时特征…
28
常见问题与排错指南
Consumer Rebalance… · 磁盘满导致生产失败
常见问题排错指南
29
课程总结
特征缺失巡检最佳实践与未来演进方向
课程总结特征缺失巡检最佳…
30
附录
常用Kafka命令行工具 · 配置参数速查表 · 巡检脚本模板
附录Kafka