VIP20

本课程属于：049-实时数据产品化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从CDC到实时数据湖

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

CDC技术概览

什么是CDC，典型应用场景如数据同步、实时数仓、缓存失效，主流工具Debezium、Canal、Maxwell、Flink CDC对比。

CDC工具对比

数据湖基础

数据湖定义，与数据仓库的区别，核心特性Schema-on-Read、ACID事务、版本控制，现代技术栈Delta Lake、Iceberg、Hudi。

数据湖架构

实时数据湖架构设计

Lambda与Kappa架构对比，实时数据湖分层ODS、DWD、DWS、ADS，事件驱动架构与CDC结合方式。

Debezium深度实践（上）

Debezium架构与核心概念Connector、Snapshot、Offset，MySQL Binlog监听配置实战，嵌入式模式详解。

Debezium深度实践（下）

Server与Kafka Connect模式，Transformations（SMT）使用，监控与运维JMX、Metrics。

Apache Kafka核心

Kafka架构与Topic、Partition、Consumer Group，高可用与数据可靠性ACK、ISR，Connect与Streams简介。

Kafka消息队列

Flink CDC入门

Flink CDC定义，与传统CDC区别，DataStream API与SQL API，Exactly-Once语义保证。

Flink CDC实战（MySQL篇）

读取MySQL Binlog，动态加表与Schema Evolution，写入Kafka实践。

Flink CDC实战（PostgreSQL篇）

PostgreSQL逻辑复制原理，读取WAL，与MySQL CDC差异分析。

Flink CDC实战（MongoDB篇）

MongoDB Change Streams原理，读取Oplog，注意事项与最佳实践。

MongoDBChange Streams

Flink CDC实战（Oracle篇）

Oracle LogMiner与XStream原理，读取Redo Log，License与性能问题。

Flink CDC实战（SQL Server篇）

SQL Server Change Tracking与CDC，读取实现，局限性分析。

SQL ServerChange Tracking

Flink CDC高级特性

并行读取与分片策略，Checkpoint与容错，Exactly-Once写入下游。

Delta Lake入门

架构与Transaction Log、Delta Table，ACID事务实现，Schema Enforcement与Evolution。

Delta Lake实战

表操作Create、Insert、Update、Delete、Merge，时间旅行，Optimize与Z-Order。

Delta Lake实战

Apache Iceberg入门

架构与Manifest、Snapshot、Metadata，表格式与分区演进，ACID并发控制。

Iceberg表格式

Apache Iceberg实战

表操作Create、Insert、Update、Delete、Merge，Time Travel与Incremental Read，Compaction与Expire Snapshots。

Apache Hudi入门

架构与Copy-on-Write vs Merge-on-Read、Timeline，索引机制Bloom Filter、HBase Index，Incremental Pull。

Apache Hudi实战

表操作Insert、Upsert、Delete、Bulk Insert，Clustering与Compaction，与Flink集成。

实时数据湖写入优化

小文件问题与解决方案，写入吞吐优化Batch Size、Parallelism，数据一致性Idempotent Write、Two-Phase Commit。

实时数据湖查询优化

文件布局Partitioning、Bucketing，索引优化Manifest、Bloom Filter，查询引擎Spark、Presto、Trino适配。

实时数据湖的Schema管理

Schema Evolution最佳实践Add、Drop、Rename、Type Change，Schema Registry集成Confluent、Apicurio，兼容性设计。

实时数据湖的流批一体

流批一体概念与价值，Flink Streaming + Delta Lake/Iceberg/Hudi流写批读，Spark Structured Streaming集成。

流批一体Flink

实时数据湖的数据质量

质量监控框架Great Expectations、Deequ，实时校验Schema、Null、Range，数据回溯与修复。

数据质量监控

实时数据湖的权限与安全

权限模型RBAC、ABAC，Apache Ranger集成，数据加密TLS、KMS、列级加密。

实时数据湖的监控与运维

关键监控指标Lag、Throughput、File Count、Commit Duration，告警策略，备份与恢复。

实时数据湖的选型指南

Delta Lake vs Iceberg vs Hudi对比，选型决策树，不同场景推荐方案。

企业级实时数据湖案例（电商）

电商实时数据湖架构，订单CDC实时入湖，实时用户画像与推荐系统。

企业级实时数据湖案例（金融）

金融实时数据湖架构，交易CDC实时入湖，实时风控与反欺诈。

实时数据湖的未来趋势

Data Lakehouse架构演进，Serverless数据湖，AI与数据湖融合MLflow、Feature Store。