VIP16
本课程属于：041-金融数据质量、血缘与调度治理 智能金融与金融工程 · 共 16 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

CDC数据重复、乱序与幂等治理实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=CDC数据重复 · 乱序与幂等治理的学习目标 · 核心挑战
课程导入CDC
02
CDC基础概念
目标=变更数据捕获的定义 · 常见实现方式（日志解析 · 触发器
CDC基础概念
03
数据重复的根源
目标=CDC链路中重复产生的常见原因 · 包括源端重试 · 网络抖动
数据重复的根源CDC
04
数据乱序的根源
目标=事件时间与处理时间差异 · 分区并行消费 · 网络延迟
数据乱序的根源目标=事件时间
05
幂等核心原理
目标=幂等性的数学定义 · 业务幂等与存储幂等 · 幂等键设计
幂等核心原理目标=幂等性的数…
06
CDC数据格式与元数据
目标=Debezium · Canal · Maxwell等常见格式
CDC数据格式
07
重复检测方法
目标=基于唯一键 · 基于位点 · 基于窗口去重
重复检测方法目标=基于唯一键
08
乱序处理基础
目标=水位线 · 允许延迟 · 事件时间窗口
乱序处理基础目标=水位线
09
幂等写入实战
目标=数据库upsert · 唯一索引 · 版本号乐观锁
幂等写入实战upsert
10
流处理框架中的去重与乱序
目标=Flink · Spark Structured S… · Kafka Streams的重复与乱…
流处理框架去重
11
端到端Exactly-Once语义
目标=源端 · 传输端 · 处理端与目标端的Exactly-On…
Exactly-Once端到端
12
CDC链路中的位点管理
目标=位点提交策略 · 位点回退处理 · 断点续传
CDC链路
13
数据质量监控
目标=重复率 · 乱序率 · 延迟指标
数据质量监控目标=重复率
14
案例实战一
目标=MySQL到Kafka再到Fl… · 处理重复与乱序并实现幂等入湖
案例实战一MySQL
15
案例实战二
目标=Oracle到Kafka再到C… · 利用ReplacingMergeTr…
案例实战二Oracle
16
案例实战三
目标=PostgreSQL到Kafk… · 基于文档ID与版本号实现幂等更新
案例实战三PostgreSQL
17
案例实战四
目标=多源CDC合并场景 · 处理跨源重复 · 时钟偏差与全局乱序的治理方案
案例实战四CDC
18
案例实战五
目标=CDC数据回滚与重放场景 · 如何保证重放过程中的幂等性与最终一致…
案例实战五CDC
19
常见问题一
目标=消费位点提交失败导致重复消费 · 如何设计补偿与去重机制
常见问题一目标=消费位点提…
20
常见问题二
目标=Kafka分区重平衡引发重复与… · 如何优化消费者配置与分区策略
常见问题二Kafka
21
常见问题三
目标=数据库主键冲突与更新丢失 · 如何通过幂等写入与版本控制解决
常见问题三目标=数据库主键…
22
常见问题四
目标=Flink Checkpoin… · 如何结合幂等Sink与事务保证
常见问题四Flink
23
常见问题五
目标=迟到数据超过允许延迟 · 如何设计侧输出 · 重跑与对账修复流程
常见问题五目标=迟到数据超…
24
性能与成本权衡
目标=去重存储选型 · 状态大小控制 · TTL策略
性能成本权衡
25
测试与验证
目标=如何构造重复与乱序测试数据 · 混沌测试 · 故障注入与端到端验证方法
测试验证
26
运维与故障处理
目标=CDC任务监控 · 位点重置 · 重复数据清理
运维故障处理
27
架构设计模式
目标=幂等消费者模式 · 去重服务模式 · 事件溯源与CQRS在CDC治理中的应…
架构设计模式目标=幂等消费者…
28
综合提升一
目标=从单链路到多链路 · 构建企业级CDC数据治理平台的核心能…
综合提升一目标=从单链路到…
29
综合提升二
目标=结合数据湖与实时数仓 · 设计高可靠 · 幂等
综合提升二目标=结合数据湖
30
课程总结与展望
目标=核心知识点回顾 · 最佳实践清单 · 未来趋势与持续学习路径
课程总结目标=核心知识点…