VIP14

本课程属于：029-实验数据资产与智能平台 生物技术_生物工程与智能实验室 · 共 14 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

基于CDC的实时数据湖构建

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

CDC技术概述

什么是CDC（Change Data Capture），三种主流实现方式（基于日志、触发器、时间戳），以及CDC在实时数据湖中的核心价值。

基础核心概念

数据湖基础概念

数据湖的定义与演进，数据湖与数据仓库的区别，实时数据湖的架构特点（Lambda架构与Kappa架构）。

主流CDC工具对比

Debezium、Canal、Maxwell、Flink CDC的优缺点与适用场景，帮助选型决策。

Debezium深度解析

Debezium架构原理，Source Connector与Sink Connector工作机制，以及Debezium Server模式详解。

MySQL Binlog原理

Binlog的三种格式（Statement、Row、Mixed），解析机制，以及GTID与位点管理。

Kafka Connect集成

Kafka Connect的Worker模式，REST API管理Connector，单机与分布式部署实践。

Flink CDC入门

Flink CDC Connector的安装与配置，使用Table API与SQL方式读取CDC数据。

Flink CDC高级特性

增量快照（Incremental Snapshot）、动态加表、全量+增量一体化读取等高级功能。

Schema变更处理

DDL变更的捕获与同步，Schema Registry的使用，以及兼容性策略。

数据序列化与反序列化

Avro、Protobuf、JSON Schema的选择，Confluent Schema Registry集成。

实时数据湖存储选型

Apache Hudi、Apache Iceberg、Delta Lake的对比与选型分析。

Apache Hudi核心概念

Copy-on-Write与Merge-on-Read，Hudi表类型（COW/MOR），以及索引机制。

Apache Iceberg核心概念

Iceberg表格式、快照隔离、分区演进与隐藏分区。

Delta Lake核心概念

事务日志（Transaction Log）、时间旅行（Time Travel）、Schema强制。

Delta Lake核心

Flink + Hudi实时写入

Flink Streaming写入Hudi，Bulk Insert与Delta Streamer模式。

Flink + Iceberg实时写入

Flink DataStream写入Iceberg，Catalog配置与提交策略。

Flink + Delta Lake实时写入

Delta Lake Connector配置，Merge操作与Upsert语义。

FlinkDelta Lake

实时数据湖的查询引擎

Presto/Trino、Spark SQL、Flink SQL的查询对比。

数据湖的ACID事务

乐观并发控制（OCC）、快照隔离级别、写冲突处理。

实时ETL与数据管道

CDC入湖后的数据清洗、去重、类型转换、字段映射。

多源CDC合并

多数据库CDC数据汇聚，主键冲突解决，数据血缘追踪。

数据湖的增量查询

Incremental Query原理，Time Travel查询，Change Data Feed。

实时数据湖的监控与运维

Prometheus + Grafana监控，Connector健康检查，数据延迟告警。

数据湖的压缩与优化

小文件合并（Compaction），Z-Order排序，Bloom Filter索引。

数据湖的权限管理

Ranger与Atlas集成，列级权限，数据脱敏。

实时数据湖的容灾与备份

跨机房同步，Checkpoint恢复，数据备份策略。

案例实战：电商订单实时数据湖

MySQL Binlog → Kafka → Flink → Hudi → Trino查询，完整电商订单链路。

案例实战：用户行为实时分析

埋点日志 → Kafka → Flink CDC → Iceberg → Spark ML，用户行为分析。

实战用户行为

案例实战：金融交易实时风控

Oracle CDC → Debezium → Kafka → Flink → Delta Lake，金融风控场景。

总结与展望

实时数据湖的挑战、未来趋势（流批一体、数据湖仓）、学习路径建议。