VIP14
本课程属于：029-实验数据资产与智能平台 生物技术_生物工程与智能实验室 · 共 14 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

CDC数据集成：多源数据库实时合并方案

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
CDC概念与价值
什么是CDC，CDC vs ETL/ELT，CDC在实时数仓中的核心价值。
基础架构
第2章
主流CDC技术选型
基于日志的CDC（Debezium、Canal），基于轮询的CDC，基于触发器的CDC。
选型对比
第3章
Debezium深度解析
Debezium架构、Connector配置、Snapshot与Streaming模式。
Debezium实战
第4章
Canal与Maxwell实战
MySQL Binlog解析、Canal架构、Maxwell vs Canal对比。
CanalMaxwell
第5章
Kafka Connect集成
Source Connector、Sink Connector、单机与分布式模式。
Kafka集成
第6章
多源数据库合并挑战
Schema冲突、数据类型映射、主键冲突、时区问题。
挑战Schema
第7章
Schema Registry与Avro
Schema演化、兼容性策略、Avro序列化。
AvroRegistry
第8章
实时数据管道架构
Lambda架构 vs Kappa架构、流表二象性。
架构流处理
第9章
Flink CDC实战
Flink CDC Connector、动态表、Changelog Stream。
Flink实战
第10章
数据一致性保障
Exactly-Once语义、幂等写入、分布式事务。
一致性事务
第11章
监控与告警
Lag监控、Connector健康检查、Prometheus+Grafana。
监控运维
第12章
性能调优
并行度设置、批量大小、内存配置、网络优化。
性能调优
第13章
容错与高可用
Kafka集群容错、Connector重启策略、Checkpoint机制。
高可用容错
第14章
安全与权限
SSL/TLS加密、Kerberos认证、数据脱敏。
安全权限
第15章
多源合并实战案例（一）
MySQL+PostgreSQL合并到ClickHouse。
实战ClickHouse
第16章
多源合并实战案例（二）
Oracle+SQL Server合并到Kafka。
实战Oracle
第17章
多源合并实战案例（三）
MongoDB+MySQL合并到Elasticsearch。
实战ES
第18章
数据质量监控
校验和、数据漂移检测、异常记录处理。
质量监控
第19章
CDC与数据湖
CDC入湖（Hudi/Iceberg/Delta Lake）、增量查询。
数据湖Hudi
第20章
CDC与数据仓库
实时数仓分层、ODS/DWD/DWS/ADS的CDC应用。
数仓分层
第21章
CDC与流计算
Flink SQL CDC、CEP模式匹配、窗口聚合。
流计算Flink SQL
第22章
CDC与微服务
事件驱动架构、CQRS模式、Outbox模式。
微服务CQRS
第23章
CDC与数据同步工具对比
DataX、Kettle、Sqoop vs CDC。
对比工具
第24章
CDC在金融行业的应用
交易流水实时合并、风控实时计算。
金融案例
第25章
CDC在电商行业的应用
订单实时合并、库存实时同步。
电商案例
第26章
CDC在物联网行业的应用
设备数据实时汇聚、时序数据合并。
IoT案例
第27章
CDC在游戏行业的应用
玩家数据实时合并、排行榜实时更新。
游戏案例
第28章
CDC在医疗行业的应用
患者数据实时合并、电子病历同步。
医疗案例
第29章
CDC在社交行业的应用
用户行为实时合并、Feed流实时推送。
社交案例
第30章
CDC未来趋势
云原生CDC、Serverless CDC、AI辅助CDC运维。
趋势云原生