VIP20
本课程属于：023-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

湖仓一体CDC实时入湖链路设计

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
湖仓一体与CDC实时入湖的背景 · 价值 · 学习目标与整体框架
课程导入CDC
02
湖仓一体架构基础
湖仓一体的定义 · 核心特性 · 与传统数据仓库和数据湖的对比
湖仓一体架构基础湖仓一体的定义
03
CDC技术概述
变更数据捕获的概念 · 原理 · 常见实现方式（基于日志
CDC技术概述
04
实时入湖需求分析
实时入湖的业务场景 · 技术挑战 · 性能与一致性要求
实时入湖需求分析实时入湖的业务场…
05
主流CDC工具介绍
Debezium · Flink CDC · Canal等工具的架构
CDC主流
06
数据源接入
关系型数据库（MySQL · PostgreSQL等）的CDC接入…
数据源接入MySQL
07
消息队列选型
Kafka · Pulsar等消息中间件在CDC链路…
消息队列选型Kafka
08
实时计算引擎
Flink在CDC实时入湖中的角色 · 核心概念（流 · 窗口
实时计算引擎Flink
09
湖仓存储格式
Parquet · ORC · Delta Lake
湖仓存储格式Parquet
10
数据湖表格式详解
Hudi · Iceberg · Delta Lake的ACID特性
数据湖表格式详解Hudi
11
CDC入湖链路设计
端到端链路架构（数据库→CDC→消息…
CDC入湖链路设计
12
Schema变更处理
如何处理源端表结构变更（加列 · 删列 · 类型变更）在CDC链路中的传播
Schema变更处理
13
数据一致性保障
Exactly-Once语义 · 幂等写入 · 事务性保证在实时入湖中的实现
数据一致性保障Exactly-Once
14
实时入湖性能优化
并行度设置 · 背压处理 · 批量写入优化
实时入湖性能优化并行度设置
15
数据湖表优化策略
Compaction · Clustering · 索引优化等提升查询性能的方法
数据湖表优化策略Compaction
16
案例实战
基于Flink CDC + Kafk…
案例实战Flink
17
案例实战
基于Debezium + Kafka…
案例实战Debezium
18
案例实战
基于Canal + Kafka +…
案例实战Canal
19
监控与运维
CDC链路监控指标 · 日志分析 · 故障排查与恢复
监控运维
20
数据质量与治理
实时入湖中的数据校验 · 质量监控 · 血缘追踪与数据治理
数据质量治理
21
安全与权限
数据加密 · 访问控制 · 敏感数据脱敏在实时入湖中的实践
安全权限
22
常见问题与解决方案
数据延迟 · 数据丢失 · 重复数据
常见问题解决方案
23
湖仓一体查询引擎
Spark · Presto/Trino · Flink等查询引擎与实时入湖数据的…
湖仓一体查询引擎Spark
24
实时数仓与湖仓一体融合
实时数仓架构 · 与离线数仓的对比 · 湖仓一体下的实时分析
实时数仓湖仓一体融合
25
多源数据整合
多数据库 · 多表 · 多主题的CDC入湖整合策略与数据模型…
多源数据整合多数据库
26
云原生环境下的CDC入湖
云数据库 · 云消息队列 · 云数据湖服务的集成方案
CDC云原生环境下的
27
性能基准测试
如何设计测试场景 · 评估吞吐量 · 延迟
性能基准测试如何设计测试场景
28
最佳实践与设计模式
总结实时入湖链路设计的最佳实践 · 常见设计模式与反模式
最佳实践设计模式
29
前沿趋势与展望
CDC与实时入湖的新技术 · 新趋势（如实时数据网格 · 数据编织）
前沿趋势CDC
30
综合项目实战
设计一个完整的湖仓一体CDC实时入湖… · 涵盖需求分析 · 架构设计
综合项目实战CDC