01
实时数仓概述
传统数仓痛点、实时数仓演进、CDC技术简介、Iceberg核心特性。
基础概念
02
CDC技术原理
CDC概念、CDC实现方式（基于日志、基于触发器、基于时间戳）、主流CDC工具对比（Debezium、Canal、Maxwell）。
原理对比
03
Debezium入门
Debezium架构、核心组件（Connector、Converter、Offset）、部署模式、配置示例。
入门配置
04
Debezium实战
MySQL CDC配置、Kafka Connect集成、SnapShot与Streaming模式、Schema变更处理。
实战MySQL
05
Apache Iceberg核心概念
Iceberg表格式、快照（Snapshot）、分区（Partition）、排序（Sort）、元数据层。
Iceberg架构
06
Iceberg表操作
创建表、写入数据、读取数据、更新数据、删除数据、Merge Into。
SQLDML
07
Iceberg与Spark集成
Spark读写Iceberg表、Catalog配置、SQL操作、性能优化。
Spark集成
08
Iceberg与Flink集成
Flink读写Iceberg表、Streaming Sink、Batch Read、Checkpoint集成。
Flink流式
09
实时数仓分层架构
ODS层设计、DWD层设计、DWS层设计、ADS层设计、分层原则。
架构分层
10
CDC数据入仓（ODS层）
Debezium采集MySQL Binlog、写入Kafka、Flink消费写入Iceberg ODS表。
ODSCDC
11
数据清洗与转换（DWD层）
Flink SQL清洗、类型转换、字段映射、脏数据处理、Watermark机制。
DWD清洗
12
数据聚合与汇总（DWS层）
Flink Window聚合、Group By聚合、TopN计算、去重统计。
DWS聚合
13
实时维度表构建
维度表概念、缓慢变化维（SCD）、Iceberg实现SCD Type 2、Lookup Join。
维度SCD
14
实时事实表构建
事实表概念、可加性度量、半可加性度量、不可加性度量、累积快照事实表。
事实表度量
15
实时ETL链路设计
全链路架构、数据延迟控制、Exactly-Once语义、端到端一致性。
ETL一致性
16
Iceberg表优化
Compaction（小文件合并）、Expire Snapshots（过期快照清理）、Rewrite Data Files（数据重写）。
优化维护
17
实时数仓监控与告警
Flink Metrics、Kafka Lag监控、Iceberg表状态监控、告警规则配置。
监控告警
18
数据质量保障
数据完整性校验、数据一致性校验、异常数据检测、数据修复策略。
质量校验
19
实时数仓性能调优
Flink并行度调优、Iceberg写入调优、Kafka分区调优、内存与网络优化。
调优性能
20
实时数仓与离线数仓对比
架构差异、时效性差异、成本差异、适用场景。
对比选型
21
实时数仓案例
电商实时大屏、实时用户画像、实时风控、实时推荐。
案例电商
22
Flink CDC 2.0新特性
增量快照、动态加表、无锁读取、全量+增量一体化。
新特性Flink
23
Iceberg REST Catalog
REST Catalog架构、配置方式、多集群共享、权限控制。
CatalogREST
24
实时数仓数据湖方案
Lakehouse架构、Delta Lake vs Iceberg vs Hudi对比、选型建议。
数据湖对比
25
实时数仓安全与权限
数据脱敏、行级权限、列级权限、审计日志。
安全权限
26
实时数仓数据治理
元数据管理、血缘分析、数据生命周期管理、成本控制。
治理元数据
27
实时数仓测试策略
单元测试、集成测试、端到端测试、数据回放测试。
测试质量
28
实时数仓部署与运维
Kubernetes部署Flink、Iceberg表管理、滚动升级、容灾备份。
部署运维
29
实时数仓最佳实践
Schema设计原则、分区策略选择、文件格式选择、压缩算法选择。
最佳实践设计
30
实时数仓未来趋势
流批一体、AI for Data、Serverless实时数仓、实时数据网格。
趋势展望