01
数据湖仓概述
数据湖与数据仓库的区别、湖仓一体架构演进、历史数据查询的挑战与价值。
基础架构
02
核心存储引擎
Apache Iceberg 表格式、ACID 事务原理、快照与版本管理。
IcebergACID
03
分区策略设计
时间分区、桶分区与混合分区、分区裁剪优化、动态分区写入。
分区优化
04
时间旅行查询
Snapshot 读取原理、AS OF 语法、增量读取与回滚。
时间旅行快照
05
增量查询与 CDC
Change Data Capture 机制、Merge Into 语法、流批一体查询。
CDC流批
06
查询引擎集成
Spark SQL 集成、Flink 集成、Trino/Presto 集成。
SparkFlinkTrino
07
元数据管理
Hive Metastore 与 Nessie、Catalog 类型对比、元数据缓存策略。
元数据Nessie
08
数据压缩与优化
文件合并（Compaction）、小文件治理、Z-order 排序优化。
压缩小文件
09
数据生命周期管理
过期快照清理、数据保留策略、自动回收机制。
生命周期清理
10
安全与权限控制
列级权限、行级过滤、数据脱敏与审计日志。
安全权限
11
性能调优实战
查询计划分析、谓词下推、向量化读取。
调优向量化
12
监控与告警
查询延迟监控、存储成本分析、异常检测。
监控告警
13
多环境管理
开发/测试/生产环境隔离、数据克隆与分支。
环境分支
14
数据质量保障
Schema 演进、约束校验、数据完整性检查。
质量Schema
15
成本优化
冷热数据分层、对象存储与本地缓存、查询成本模型。
成本分层
16
实时历史查询
Kafka + Iceberg 实时入湖、Flink 实时查询历史。
实时Kafka
17
跨区域查询
异地多活架构、数据复制与一致性。
跨区域复制
18
数据湖仓迁移
从 Hive 迁移到 Iceberg、从传统数仓迁移。
迁移Hive
19
查询引擎对比
Spark vs Flink vs Trino 适用场景。
对比引擎
20
数据湖仓与 AI
特征存储、ML 训练数据回溯。
AI特征
21
数据湖仓与 BI
与 Tableau/Superset 集成、物化视图。
BI物化视图
22
数据湖仓与数据治理
数据目录、血缘追踪、标签管理。
治理血缘
23
数据湖仓与合规
GDPR 数据删除、审计追溯。
合规GDPR
24
数据湖仓与云原生
AWS Lake Formation、阿里云 DLF、腾讯云 GooseFS。
云原生AWS
25
数据湖仓与 Serverless
无服务器查询、自动扩缩容。
Serverless弹性
26
数据湖仓与数据网格
数据产品化、联邦查询。
网格联邦
27
数据湖仓与实时数仓
Lambda 架构 vs Kappa 架构。
实时数仓架构
28
数据湖仓与数据虚拟化
Presto/Trino 联邦查询、跨源 Join。
虚拟化跨源
29
数据湖仓最佳实践
架构设计原则、常见坑与解决方案。
最佳实践经验
30
数据湖仓未来趋势
湖仓一体 2.0、AI 原生数据湖、实时湖仓。
趋势AI原生