01
数据交换概述
为什么需要数据交换？传统ETL的痛点与Lakehouse的承诺。
基础概念
02
Lakehouse核心概念
数据湖与数据仓库的融合，Delta Lake与Apache Iceberg简介。
架构表格式
03
数据交换模式
批量交换、微批量交换、实时流交换的场景与选择。
模式实时
04
Apache Spark在数据交换中的角色
作为统一计算引擎的Spark。
计算引擎
05
Delta Lake表格式详解
ACID事务、时间旅行、Schema演进。
Delta事务
06
Apache Iceberg表格式详解
隐藏分区、分区演进、快照隔离。
Iceberg分区
07
数据摄取：从关系型数据库
从关系型数据库（JDBC）摄取数据到Lakehouse。
JDBC摄取
08
数据摄取：从Kafka实时流
从Kafka实时流摄取数据到Lakehouse。
Kafka实时
09
数据摄取：从文件系统
从文件系统（S3/ADLS）批量摄取数据。
S3ADLS
10
数据转换：Spark SQL ETL
使用Spark SQL进行ETL清洗与聚合。
Spark SQLETL
11
数据转换：dbt建模
使用dbt进行数据建模与转换。
dbt建模
12
增量处理与CDC机制
增量处理与CDC（变更数据捕获）机制。
CDC增量
13
数据交换的格式选择
Parquet、Avro、ORC的对比与选型。
ParquetAvro
14
数据压缩与分区策略
如何优化存储与查询性能。
压缩分区
15
Schema管理
Schema Registry与兼容性检查。
Schema兼容性
16
数据交换的可靠性
Exactly-Once语义与幂等性设计。
Exactly-Once幂等
17
监控与告警
使用Spark UI与Grafana。
监控Grafana
18
数据交换的安全性
数据加密、访问控制与审计。
安全加密
19
跨云数据交换
AWS、Azure、GCP之间的数据同步方案。
跨云同步
20
数据交换的编排工具
Apache Airflow与Dagster。
AirflowDagster
21
数据交换的测试策略
数据质量检查与回滚机制。
测试质量
22
数据交换的版本控制
数据版本与代码版本的协同。
版本协同
23
元数据管理
使用Apache Atlas或DataHub。
AtlasDataHub
24
数据交换的成本优化
Spot实例、自动缩放与存储分层。
成本优化
25
容错与重试机制
Checkpoint与Dead Letter Queue。
容错DLQ
26
数据交换的API化
通过REST API对外提供数据服务。
APIREST
27
实时化架构演进
从Lambda架构到Kappa架构的演进。
LambdaKappa
28
数据交换的治理
数据血缘、数据目录与数据质量SLA。
治理血缘
29
案例实战：跨部门管道
构建一个跨部门的数据交换管道。
实战案例
30
未来趋势：Data Mesh与联邦化
Data Mesh与数据交换的联邦化。
Data Mesh联邦