VIP20

本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据湖生命周期管理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据湖概念与演进

从数据仓库到数据湖的演进、数据湖的定义与核心特征、数据湖与数据仓库的对比、数据湖的典型应用场景。

数据湖架构设计

Lambda架构详解、Kappa架构详解、湖仓一体（Lakehouse）架构、数据湖参考架构设计原则。

数据湖存储选型

对象存储（S3/OSS）核心特性、HDFS与云存储对比、数据湖文件格式（Parquet/ORC/Avro）、分区与桶策略设计。

数据湖元数据管理

Hive Metastore原理、Apache Iceberg表格式、Delta Lake表格式、Apache Hudi表格式、元数据血缘追踪。

元数据Iceberg

数据湖数据摄入

批量数据摄入（Sqoop/Spark）、实时数据摄入（Kafka/Flink）、CDC（Change Data Capture）技术、数据摄入的可靠性保证。

数据湖数据治理

数据目录与发现（Apache Atlas）、数据质量监控（Great Expectations）、数据脱敏与安全、数据生命周期策略。

数据湖计算引擎

Spark on Data Lake、Presto/Trino查询引擎、Flink流批一体、Serverless计算服务。

数据湖权限与安全

数据湖安全模型、RBAC与ABAC权限控制、数据加密（静态/传输）、审计日志与合规。

数据湖性能优化

小文件问题与合并策略、数据倾斜处理、查询优化（CBO/谓词下推）、缓存与加速层设计。

数据湖成本管理

存储成本优化（分层/压缩）、计算成本优化（弹性伸缩）、数据生命周期冷热分层、成本监控与告警。

数据湖数据建模

星型模型与雪花模型、Data Vault 2.0建模、OneData方法论、维度建模在数据湖中的实践。

数据湖数据质量

数据质量维度（完整性/准确性/一致性）、数据质量规则引擎、数据质量报告与仪表盘、数据质量闭环流程。

数据湖数据目录

数据目录的功能与价值、Apache Atlas深度实践、数据目录与数据发现、数据目录的自动化构建。

数据湖数据血缘

数据血缘的概念与价值、数据血缘采集技术、数据血缘可视化、数据血缘在故障排查中的应用。

数据湖数据版本管理

数据版本控制原理、时间旅行（Time Travel）查询、数据回滚与恢复、版本管理最佳实践。

版本Time Travel

数据湖数据压缩

压缩算法对比（Snappy/Zstd/Gzip）、压缩策略选择、压缩对查询性能的影响、压缩与存储成本平衡。

数据湖数据分区

分区策略设计（时间/地域/业务）、动态分区与静态分区、分区裁剪优化、分区数量管理。

数据湖数据桶

桶的概念与原理、桶数量设计、桶与Join优化、桶与数据倾斜处理。

数据湖数据采样

采样方法（随机/分层/蓄水池）、采样在数据探索中的应用、采样与数据质量评估、采样性能优化。

数据湖数据清洗

数据清洗流程、脏数据处理策略、数据清洗工具（Spark/Databricks）、清洗后的数据验证。

数据湖数据转换

ETL与ELT对比、Spark SQL数据转换、Flink SQL流式转换、数据转换的幂等性设计。

数据湖数据加载

批量加载策略、微批加载策略、实时加载策略、加载失败处理与重试机制。

数据湖数据导出

数据导出到外部系统、导出格式选择、导出性能优化、导出数据一致性保证。

数据湖数据归档

归档策略设计、归档存储选择（冷存储/归档存储）、归档数据恢复、归档生命周期管理。

归档冷存储

数据湖数据删除

软删除与硬删除、数据删除策略、删除对查询的影响、删除操作的审计。

数据湖数据备份

备份策略（全量/增量）、备份存储选择、备份恢复演练、备份与数据治理的关系。

数据湖数据恢复

恢复策略设计、时间点恢复（PITR）、恢复测试与验证、恢复SLA管理。

数据湖监控与告警

监控指标设计（存储/计算/质量）、监控工具（Prometheus/Grafana）、告警规则配置、监控仪表盘设计。

数据湖运维管理

日常运维任务、故障处理流程、容量规划、运维自动化（Airflow/调度）。

运维自动化

数据湖最佳实践与案例

数据湖建设方法论、行业案例（金融/电商/物联网）、常见陷阱与避坑指南、未来趋势（AI+数据湖）。