VIP20

本课程属于：016-Kafka数据流平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CDC数据入湖全流程拆解

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

CDC概念与价值

什么是CDC、为什么需要CDC、CDC与批量ETL的区别、CDC在数据湖中的定位。

基础核心概念

常见CDC技术选型

基于日志的CDC（Debezium、Canal）、基于触发器的CDC、基于时间戳的CDC、基于API的CDC。

技术选型对比

Debezium核心原理

Debezium架构、Snapshot与Streaming模式、Offset管理机制、Schema变更处理。

Debezium日志解析

Canal核心原理

Canal架构、Binlog解析原理、Canal与Kafka集成、Canal HA方案。

Kafka Connect与CDC

Source Connector配置、Sink Connector配置、Single Message Transform、Connector生命周期管理。

数据湖存储选型

HDFS、S3、OSS、Delta Lake、Apache Iceberg、Apache Hudi对比。

CDC数据入湖架构设计

Lambda架构、Kappa架构、流批一体架构、实时数仓分层设计。

Schema Registry与数据治理

Avro/Protobuf/JSON Schema、Schema兼容性检查、Schema演进策略。

Flink CDC实战

Flink CDC Connector、动态表、Changelog Stream、Exactly-Once语义保证。

Spark Structured Streaming与CDC

Streaming Read、Micro-Batch模式、Checkpoint机制、与Delta Lake集成。

CDC数据入湖的Exactly-Once语义

幂等写入、两阶段提交、Kafka事务、Lakehouse ACID事务。

一致性事务

数据一致性校验

全量对账、增量对账、校验工具（Great Expectations、Deequ）、修复策略。

延迟与吞吐量优化

并行度调优、批量大小调整、背压处理、资源动态分配。

Schema变更处理

DDL捕获、Schema演进策略（Add/Delete/Rename）、下游兼容性处理。

数据湖分区策略

时间分区、业务分区、分区裁剪优化、小文件问题与合并。

CDC数据入湖监控体系

Prometheus + Grafana、Kafka Lag监控、Flink/Spark Metrics、自定义告警。

数据血缘与溯源

Atlas/DataHub集成、Lineage捕获、影响分析、数据质量回溯。

安全与权限控制

数据加密（TLS/SSL）、访问控制（RBAC/ABAC）、审计日志、敏感数据脱敏。

多源CDC数据合并

多表Join、去重策略、窗口聚合、版本合并。

CDC数据入湖的容错机制

Checkpoint恢复、Rebalance处理、死信队列、重试策略。

容错可靠性

实时数据湖查询优化

Iceberg/Hudi MOR与MOR、Z-Order排序、Bloom Filter、物化视图。

CDC数据入湖的测试策略

单元测试、集成测试、端到端测试、数据对比测试、混沌工程。

CDC数据入湖的CI/CD

GitOps、自动化部署、灰度发布、回滚策略。

CDC数据入湖的成本控制

存储成本（冷热分层）、计算成本（Spot实例）、网络成本（压缩）、资源弹性伸缩。

CDC数据入湖的SLA保障

延迟SLA、数据完整性SLA、可用性SLA、SLO定义与监控。

CDC数据入湖的灾难恢复

跨区域复制、备份策略、RTO/RPO定义、演练方案。

CDC数据入湖的版本管理

数据版本、Schema版本、Pipeline版本、回滚与快照。

CDC数据入湖的元数据管理

Hive Metastore、AWS Glue Catalog、自研元数据中心、元数据同步。

元数据目录

CDC数据入湖的实战案例（电商）

订单数据实时入湖、库存数据实时同步、用户行为分析、实时大屏。

CDC数据入湖的实战案例（金融）

交易流水实时入湖、风控特征实时计算、监管报送、数据合规。