VIP11
本课程属于：017-Kafka、CDC与数据集成工程 后端、数据与云原生工程 · 共 11 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

CDC实时数据集成生产实践与性能优化

共计 30 章节
可可资料掘金营 · 点击在线试看
01
CDC实时数据集成全景
目标=CDC核心概念 · 技术流派 · 典型应用场景与生产挑战
CDC实时数据集成全景
02
变更数据捕获原理
目标=基于日志 · 触发器 · 时间戳的CDC机制对比与选型依据
变更数据捕获原理目标=基于日志
03
主流CDC工具概览
目标=Debezium · Canal · Flink CDC
CDC主流
04
数据库日志解析实战
目标=MySQL binlog格式解… · 事件类型与位点管理
数据库日志解析实…MySQL
05
CDC连接器部署与配置
目标=以Debezium为例搭建My…
CDC连接器部署
06
初始快照与增量同步
目标=全量快照策略 · 增量位点衔接与一致性保证
初始快照增量同步
07
Schema变更处理
目标=DDL捕获 · Schema演化与下游兼容性设计
Schema变更处理
08
CDC数据格式与序列化
目标=Avro · Protobuf · JSON在实时集成中的性能与治理对比
CDC数据格式
09
消息中间件选型与调优
目标=Kafka分区 · 副本 · 压缩与CDC吞吐量关系
消息间件选型
10
实时集成管道构建
目标=从CDC到消息队列再到计算引擎…
实时集成管道构建CDC
11
Flink CDC深度实践
目标=源表连接 · 增量快照 · Exactly-Once语义实现
FlinkCDC
12
流式数据转换与清洗
目标=实时ETL中的过滤 · 映射 · 聚合与维表关联
流式数据转换清洗
13
CDC数据入湖实战
目标=Hudi · Iceberg · Delta Lake的写入模式与性能…
CDC数据入湖实战
14
CDC数据入仓实战
目标=实时数仓分层 · Upsert策略与查询性能优化
CDC数据入仓实战
15
多源异构数据集成
目标=跨库 · 跨集群 · 跨云CDC链路的设计与挑战
多源异构数据集成目标=跨库
16
CDC管道监控体系
目标=延迟 · 吞吐 · 积压
CDC管道监控体系
17
数据一致性校验
目标=端到端对账 · 幂等写入与冲突解决机制
数据一致性校验目标=端到端对账
18
故障恢复与容灾
目标=断点续传 · 位点重置 · 主备切换与数据不丢不重
故障恢复容灾
19
性能瓶颈诊断
目标=CPU · 内存 · 网络
性能瓶颈诊断CPU
20
吞吐量优化实战
目标=批量拉取 · 并行解析 · 分区扩展与背压处理
吞吐量优化实战目标=批量拉取
21
延迟优化实战
目标=端到端延迟分解 · 网络调优与计算引擎微批调参
延迟优化实战目标=端到端延迟…
22
资源成本优化
目标=连接器资源配额 · 消息压缩 · 存储分层与弹性伸缩
资源成本优化目标=连接器资源…
23
高可用架构设计
目标=CDC采集端 · 消息层 · 计算层的冗余与故障转移
高可用架构设计CDC
24
安全与权限管理
目标=数据传输加密 · 认证授权 · 敏感字段脱敏与审计
安全权限管理
25
生产环境部署与运维
目标=容器化 · Kubernetes编排 · 配置管理与滚动升级
生产环境部署运维
26
大规模CDC集群治理
目标=多租户隔离 · 配额管理 · 版本升级与兼容性测试
CDC大规模
27
典型行业案例解析
目标=金融 · 电商 · 物联网场景下的CDC集成架构与优化
典型行业案例解析目标=金融
28
CDC与数据湖仓一体
目标=实时入湖 · 增量查询与流批统一的最佳实践
CDC数据湖仓一体
29
前沿趋势与生态演进
目标=CDC与AI · Serverless · 云原生技术的融合方向
前沿趋势生态演进
30
综合实战项目
目标=设计并优化一个高吞吐 · 低延迟 · Exactly-Once的CDC实时…
综合实战项目目标=设计并优化…