VIP20
本课程属于：071-金融特征缺失巡检 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时特征缺失检测Kafka实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
实时特征缺失检测的背景 · 业务价值 · 课程目标与整体架构概览
课程导论实时特征缺失检测…
02
Kafka核心概念回顾
Topic · Partition · Producer
Kafka核心概念回顾
03
特征数据模型设计
定义特征事件Schema · 特征ID · 时间戳
特征数据模型设计Schema
04
Kafka Topic规划
特征数据Topic · 缺失告警Topic · 死信队列Topic的命名规范与分区策…
KafkaTopic
05
生产者客户端开发
使用Java/Python Prod… · 配置acks · retries
生产者客户端开发Java/Python
06
特征事件序列化
使用Avro/Protobuf/JS… · Schema Registry集成
特征事件序列化Avro/Protobu…
07
消费者客户端开发
使用Java/Python Cons… · 配置group.id · auto.offset.reset
消费者客户端开发Java/Python
08
特征缺失检测逻辑
基于时间窗口（如5分钟）判断特征是否… · 定义缺失判定规则
特征缺失检测逻辑基于时间窗口
09
状态存储与窗口计算
使用Kafka Streams DS…
状态存储窗口计算
10
Kafka Streams拓扑设计
构建Source Processor · Stateful Processor · Sink Processor的DAG
KafkaStreams
11
缺失告警生成
当检测到特征缺失时 · 生成告警事件并发送到告警Topic
缺失告警生成当检测到特征缺失…
12
死信队列处理
处理解析失败 · 序列化异常的特征事件 · 写入死信队列并记录日志
死信队列处理处理解析失败
13
Kafka Connect集成
使用Source Connector… · Sink Connector写入存储
KafkaConnect
14
Kafka Schema Registry
注册特征Schema · 版本管理 · 兼容性检查（Backward/For…
KafkaSchema
15
Kafka监控与指标
使用JMX · Kafka Exporter · Prometheus监控Lag
Kafka监控
16
Kafka集群部署
单节点与多节点部署 · ZooKeeper/KRaft模式 · 副本因子配置
Kafka集群部署
17
Kafka安全配置
SSL/TLS加密 · SASL认证（PLAIN/SCRAM… · ACL授权
Kafka安全配置
18
特征缺失检测的容错机制
消费者Rebalance · Exactly-Once语义 · 事务性生产者
特征缺失检测的容…Rebalance
19
延迟与乱序处理
处理特征事件延迟到达 · 乱序问题 · 使用Watermark与Allowe…
延迟乱序处理
20
多特征联合检测
检测多个特征同时缺失的组合规则 · 使用Kafka Streams Jo…
多特征联合检测检测多个特征同时…
21
特征缺失率统计
计算每个特征在时间窗口内的缺失率 · 输出到统计Topic
特征缺失率统计计算每个特征
22
告警降噪与聚合
对重复告警进行聚合 · 抑制 · 避免告警风暴
告警降噪聚合
23
Kafka REST Proxy
通过REST API发送/消费特征事… · 适用于非JVM客户端
KafkaREST
24
Kafka与Flink集成
使用Flink Kafka Conn…
KafkaFlink
25
Kafka与Spark Streaming集成
使用Spark Structured…
KafkaSpark
26
特征缺失检测的测试策略
单元测试 · 集成测试 · 端到端测试
特征缺失检测的测…单元测试
27
性能调优
调整Kafka参数（num.stre… · buffer.memory · fetch.min.bytes）提升…
性能调优Kafka
28
生产环境部署与运维
日志管理 · 磁盘规划 · 滚动升级
生产环境部署运维
29
实战案例一
金融风控场景——实时检测用户行为特征…
实战案例一金融风控场景
30
实战案例二
IoT设备监控——检测传感器特征数据…
实战案例二IoT