VIP20
本课程属于：064-风控数据质量收益沙盘推演 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka实时数据流质量保障实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据质量概述
实时数据流质量的定义 · 重要性 · 常见质量问题类型（完整性
数据质量概述实时数据流质量的…
02
Kafka核心概念回顾
Topic · Partition · Producer
Kafka核心概念回顾
03
Kafka消息结构
消息键 · 值 · 时间戳
Kafka消息结构
04
生产者端质量保障
幂等性生产者 · 事务性生产者 · acks配置对数据可靠性的影响
生产者端质量保障幂等性生产者
05
消费者端质量保障
消费者偏移量管理 · 自动提交与手动提交 · 重复消费与漏消费处理
消费者端质量保障消费者偏移量管理
06
数据完整性校验
消息序列化与反序列化 · Schema Registry · Avro/Protobuf/JSON…
数据完整性校验消息序列化
07
数据一致性保障
Exactly-Once语义（EOS… · 事务API使用 · 隔离级别配置
数据一致性保障Exactly-Once
08
数据时效性监控
端到端延迟测量 · 时间戳提取 · 延迟告警阈值设置
数据时效性监控端到端延迟测量
09
数据质量指标定义
DQ维度（完整性 · 唯一性 · 及时性
数据质量指标定义DQ
10
质量监控架构设计
基于Kafka Streams/KS…
质量监控架构设计Kafka
11
数据质量规则引擎
规则定义语言 · 规则存储（Kafka Topic） · 规则动态加载与热更新
数据质量规则引擎规则定义语言
12
质量检测算子实现
空值检测 · 范围校验 · 格式校验
质量检测算子实现空值检测
13
异常数据分流
死信队列（DLQ）设计 · 异常Topic定义 · 重试机制与补偿策略
异常数据分流DLQ
14
质量指标计算
滑动窗口聚合 · 计数 · 比率计算
质量指标计算滑动窗口聚合
15
质量仪表板构建
实时指标可视化 · Grafana + Promethe… · Kafka Exporter使用
质量仪表板构建实时指标可视化
16
告警与通知
基于质量阈值的告警规则 · 多级告警（Warn/Error/Cr… · 通知渠道集成（钉钉/邮件/Webho…
告警通知
17
数据血缘追踪
消息头部传递TraceID · OpenTelemetry集成 · Kafka Connect中的血缘记…
数据血缘追踪TraceID
18
Schema演化管理
向后兼容 · 向前兼容 · 完全兼容策略
Schema演化管理
19
数据重处理机制
基于偏移量的回溯消费 · 时间戳回溯 · 重处理管道设计
数据重处理机制基于偏移量的回溯…
20
质量SLA定义
SLA指标（延迟 · 吞吐量 · 错误率）
SLA质量
21
多集群数据质量同步
跨DC复制中的质量校验 · MirrorMaker2质量监控
多集群数据质量同…DC
22
Kafka Connect质量保障
Source/Sink Connec… · 错误处理 · 重试策略
KafkaConnect
23
Kafka Streams应用质量
状态存储一致性 · 任务重平衡时的数据完整性 · RocksDB监控
KafkaStreams
24
数据采样与审计
随机采样 · 分层采样 · 审计日志Topic设计
数据采样审计
25
质量元数据管理
质量指标元数据Topic · 质量规则元数据 · 质量事件元数据
质量元数据管理Topic
26
自动化质量修复
基于规则的自动修复 · 重试队列 · 补偿消息生成
自动化质量修复基于规则的自动修…
27
质量测试框架
单元测试（TopologyTestD… · 集成测试（Embedded Kafk… · 混沌工程
质量测试框架TopologyTest…
28
生产环境质量运营
灰度发布 · 蓝绿部署 · 质量回滚策略
生产环境质量运营灰度发布
29
案例实战一
电商订单实时质量保障（订单完整性 · 金额准确性 · 时效性）
案例实战一电商订单实时质量…
30
案例实战二
金融交易数据质量保障（一致性 · 幂等性 · 审计追踪）
案例实战二金融交易数据质量…