VIP20

本课程属于：034-Kafka性能调优 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Lakehouse的数据入湖实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据入湖概述

什么是数据湖、Lakehouse架构演进、入湖场景与挑战。

数据源探索

结构化数据源（MySQL、PostgreSQL）、半结构化（JSON、CSV）、非结构化（日志、图片）。

数据源多样性

批量入湖基础

使用Apache Spark读取关系型数据库：JDBC连接、并行读取策略。

批量入湖进阶

增量抽取策略：全量覆盖、增量追加、CDC变更捕获。

实时入湖基础

Kafka消息队列基础、Spark Structured Streaming入门。

实时入湖进阶

Exactly-Once语义保证、Checkpoint机制与故障恢复。

一致性容错

数据格式选型

Parquet列式存储、Delta Lake事务日志、Apache Iceberg表格式。

存储表格式

Schema演进策略（新增列、删除列、类型变更）、兼容性检查。

分区与分桶

时间分区策略、哈希分桶、动态分区写入优化。

文件大小优化

小文件问题诊断、文件合并策略（Optimize/Compaction）、目标文件大小设定。

小文件合并

数据质量检查

入湖前校验（空值检查、唯一性约束）、入湖后审计（行数对比、校验和）。

元数据管理

Hive Metastore集成、AWS Glue Catalog、自定义元数据标签。

安全与权限

数据加密（TLS/SSL、静态加密）、访问控制（RBAC、列级权限）。

Spark Shuffle优化、内存调优、并行度设置。

监控与告警

入湖延迟监控、数据量趋势分析、失败任务自动重试。

数据湖与数据仓库对比

架构差异、查询性能、成本模型。

Delta Lake入湖实战

使用Delta Lake API进行ACID事务写入。

Apache Iceberg入湖实战

Iceberg表创建、快照管理、时间旅行查询。

Apache Hudi入湖实战

Copy-on-Write与Merge-on-Read模式选择。

多表关联入湖

星型模型入湖、事实表与维度表同步策略。

数据回填与重跑

历史数据批量回填、幂等性设计、数据版本回溯。

云原生入湖

AWS S3+Glue、Azure Data Lake Storage+Synapse、GCP Cloud Storage+Dataproc。

云原生多云

流批一体架构

Lambda架构与Kappa架构对比、流表二象性。

数据湖治理

数据血缘追踪、数据目录构建、数据生命周期管理。

入湖工具链

Apache NiFi、Airflow调度、dbt数据转换。

测试与验证

单元测试（数据转换逻辑）、集成测试（端到端入湖流程）、性能测试。

常见问题排查

OOM异常、数据倾斜、连接超时、序列化错误。

最佳实践总结

入湖架构设计原则、团队协作规范、文档化要求。

最佳实践规范

案例实战一：电商订单

MySQL CDC + Kafka + Delta Lake 入湖。

案例实战二：用户行为日志

Flume + Kafka + Hudi + 实时分析。