首页
›
数据工程与实时数据平台
›
017-Flink实时计算
›
《基于Flink CDC的增量数据捕获方案》
VIP20
本课程属于：017-Flink实时计算
数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
基于Flink CDC的增量数据捕获方案
📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
CDC概念与场景
什么是CDC，实时数仓、缓存同步、数据迁移等应用场景，对比Canal、Debezium、Flink CDC主流方案。
概念
场景
对比
第2章
Flink CDC核心原理
Flink CDC架构设计，基于日志的增量捕获机制，Changelog Stream概念，Snapshot与Streaming的无缝衔接。
架构
原理
Changelog
第3章
环境搭建与快速入门
Flink环境安装配置，MySQL开启Binlog，引入Flink CDC Maven依赖，编写第一个DataStream CDC程序。
入门
环境
实战
第4章
MySQL CDC Connector详解
MySQL CDC Source配置参数，Server ID与并行读取策略，Debezium配置项调优，表结构变更处理方案。
MySQL
Connector
Debezium
第5章
PostgreSQL CDC Connector详解
PG逻辑复制原理，Publication与Slot配置，PG CDC Source参数说明，常见问题与排错指南。
PostgreSQL
逻辑复制
Slot
第6章
MongoDB CDC Connector详解
MongoDB Oplog机制解析，Change Stream配置方法，MongoDB CDC Source使用，与MySQL CDC的差异对比。
MongoDB
Oplog
Change Stream
第7章
SqlServer CDC Connector详解
SQL Server CDC机制，捕获实例与变更表管理，SqlServer CDC Source配置，权限要求与最佳实践。
SQL Server
捕获实例
权限
第8章
多表与整库同步
Flink CDC多表读取实现，整库同步方案设计，动态表名匹配规则，Schema变更同步策略。
多表
整库
Schema变更
第9章
Flink SQL CDC实战
Flink SQL创建CDC表，CDC与Kafka集成，CDC写入Hudi/Iceberg，实现实时ETL数据处理。
Flink SQL
Kafka
Hudi
第10章
CDC与实时数仓
实时数仓分层架构，ODS层CDC接入，DWD层流式Join，DWS层聚合计算，构建实时数仓。
实时数仓
ODS
DWD
第11章
CDC与缓存同步
Redis缓存同步方案，CDC + Redis Sink实现，缓存一致性保证，双写模式与CDC对比分析。
Redis
缓存
一致性
第12章
CDC与搜索引擎
Elasticsearch全量+增量同步，CDC写入ES，ES索引生命周期管理，数据一致性校验方案。
Elasticsearch
索引
同步
第13章
CDC与数据湖
CDC写入Hudi、Iceberg、Delta Lake，数据湖ACID事务与CDC结合，实现湖仓一体。
数据湖
Hudi
Iceberg
第14章
CDC状态管理与Checkpoint
Flink状态后端配置，CDC任务Checkpoint机制，Exactly-Once语义保证，状态大小优化技巧。
状态管理
Checkpoint
Exactly-Once
第15章
CDC性能调优
并行度设置策略，Source分片优化，Debezium参数调优，网络与内存资源优化。
性能
调优
并行度
第16章
CDC数据一致性保证
Exactly-Once语义实现，幂等写入策略，数据去重方案，延迟与一致性的权衡。
一致性
幂等
去重
第17章
CDC监控与告警
Flink Metrics监控，CDC延迟监控，Binlog消费位置监控，Prometheus + Grafana集成。
监控
Prometheus
Grafana
第18章
CDC故障恢复
任务重启策略，Binlog位点恢复，数据补录方案，分布式快照恢复机制。
故障恢复
位点
补录
第19章
CDC与Schema Registry
Avro/Protobuf序列化，Schema Registry集成，Schema演化兼容性，上下游Schema对齐。
Schema
Avro
Registry
第20章
CDC安全实践
数据库账号权限最小化，Binlog加密传输，数据脱敏处理，审计日志记录。
安全
权限
脱敏
第21章
CDC在微服务中的应用
微服务数据一致性，CQRS模式实现，Event Sourcing与CDC结合，服务间数据同步。
微服务
CQRS
Event Sourcing
第22章
CDC与消息队列
CDC写入Kafka、Pulsar，消息格式选择，分区策略设计，实现可靠消息投递。
消息队列
Kafka
Pulsar
第23章
CDC与流计算
CDC + Flink SQL复杂事件处理，CDC + Flink CEP模式匹配，CDC + Flink ML特征工程。
流计算
CEP
ML
第24章
CDC数据质量监控
数据完整性校验，数据延迟告警，异常数据检测，数据血缘追踪。
数据质量
血缘
监控
第25章
CDC多机房部署
跨机房Binlog同步，延迟优化策略，灾备方案设计，双活架构实现。
多机房
灾备
双活
第26章
CDC与数据治理
元数据采集，数据血缘分析，数据字典同步，数据质量规则管理。
数据治理
元数据
血缘
第27章
CDC最佳实践案例一
电商订单实时同步，订单状态流转，库存实时扣减，用户行为实时分析。
电商
订单
实时分析
第28章
CDC最佳实践案例二
金融交易实时风控，交易流水实时接入，风控规则引擎，实时告警。
金融
风控
告警
第29章
CDC最佳实践案例三
IoT设备数据实时采集，设备状态同步，时序数据入湖，实时监控大屏。
IoT
时序
监控大屏
第30章
CDC未来趋势与总结
Flink CDC 3.0展望，云原生CDC，CDC与AI结合，课程总结与学习路径。
趋势
云原生
总结
所属VIP或分类
同VIP：Checkpoint机制深度解析与实战
同VIP：Delta-Lake-实时流批一体-Flink-方案
同VIP：Flink-CDC-实时数据同步实战