VIP20
本课程属于：022-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多格式湖仓数据整合与实时同步实践

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 适用人群
课程导入学习目标
02
湖仓一体架构概述
数据湖与数据仓库的区别与联系 · 湖仓一体（Lakehouse）的核心…
湖仓一体架构概述数据湖
03
多格式数据源解析
常见数据格式（Parquet · ORC · Avro
多格式数据源解析Parquet
04
数据集成基础
数据集成概念 · ETL与ELT流程 · 批处理与流处理的基本概念
数据集成基础数据集成概念
05
实时同步技术选型
常见实时同步工具（如Debezium · Canal · Flink CDC
实时同步技术选型Debezium
06
数据湖存储格式详解
深入理解Parquet与ORC的列式… · 压缩算法 · 谓词下推等优化技术
数据湖存储格式详…Parquet
07
元数据管理
Hive Metastore · AWS Glue · Unity Catalog等元数据服…
元数据管理Hive
08
数据目录与发现
数据目录（Data Catalog）… · 实现方式及在湖仓中的重要性
数据目录发现
09
数据摄取模式
批量摄取 · 微批摄取 · 流式摄取的区别与适用场景
数据摄取模式批量摄取
10
实时数据捕获（CDC）
基于日志的CDC原理 · Debezium与Canal的配置与…
CDC实时数据捕获
11
流处理框架基础
Apache Kafka · Apache Flink · Spark Streaming的核心…
流处理框架基础Apache
12
Flink CDC实战
使用Flink CDC实现MySQL… · 包括配置 · 启动与监控
FlinkCDC
13
Kafka Connect实战
使用Kafka Connect实现数…
KafkaConnect
14
数据湖写入优化
小文件问题 · 分区策略 · 文件大小优化
数据湖写入优化小文件问题
15
数据格式转换与整合
在数据湖中统一不同格式的数据 · 使用Spark或Flink进行格式转…
数据格式转换整合
16
数据湖上的SQL引擎
使用Spark SQL · Presto/Trino · Hive等查询湖中数据
SQL数据湖上的
17
数据湖事务与一致性
ACID事务在数据湖中的实现（如De… · Hudi · Iceberg）及对比
数据湖事务一致性
18
实时数仓架构设计
基于湖仓一体构建实时数仓的架构模式（… · Lambda架构）
实时数仓架构设计基于湖仓一体构建…
19
案例实战
电商订单数据实时同步与整合 · 日志系统到数据湖的完整流程
案例实战电商订单数据实时…
20
案例实战
用户行为日志多格式整合：将JSON · CSV等日志统一为Parquet并支…
案例实战JSON
21
数据质量与校验
在同步过程中进行数据校验 · 去重 · 异常检测与质量监控
数据质量校验
22
数据安全与权限管理
湖仓环境下的数据加密 · 脱敏 · 访问控制（RBAC/ABAC）
数据安全权限管理
23
性能调优
同步任务性能瓶颈分析 · 并行度设置 · 资源管理与优化
性能调优同步任务性能瓶颈…
24
监控与告警
实时同步任务的监控指标 · 日志收集 · 告警机制与故障恢复
监控告警
25
常见问题与解决方案
数据延迟 · 数据丢失 · 格式兼容性
常见问题解决方案
26
数据湖与数据仓库的联邦查询
使用Presto/Trino实现跨数…
数据湖数据仓库的联邦查…
27
数据生命周期管理
数据分层存储 · 归档 · 清理策略与成本优化
数据生命周期管理数据分层存储
28
综合实战
构建企业级多格式湖仓数据平台 · 架构设计到实施部署
综合实战构建企业级多格式…
29
最佳实践与设计模式
总结数据整合与实时同步的常见设计模式…
最佳实践设计模式
30
课程总结与展望
回顾核心知识点 · 探讨湖仓一体与实时同步的未来趋势（如… · Data Mesh）
课程总结回顾核心知识点