VIP20

本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据湖生命周期冷热数据分层系统设计与落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据湖概述

什么是数据湖、数据湖与数据仓库的区别、数据湖的核心价值。

数据湖架构设计

Lambda架构、Kappa架构、湖仓一体架构选型。

冷热数据分层理论

数据温度的定义、冷热分层标准、分层存储策略。

数据生命周期管理

数据从产生到归档的全流程、生命周期策略配置。

热数据层设计

高性能存储选型（SSD/内存）、实时写入优化、缓存策略。

温数据层设计

低成本存储选型（HDD/对象存储）、压缩与编码、查询性能平衡。

冷数据层设计

归档存储（AWS Glacier/Azure Archive）、深度压缩、长期保留策略。

数据分区与分桶

分区策略（时间/地域）、分桶设计、分区裁剪优化。

数据格式选型

Parquet、ORC、Avro对比、列式存储优势、压缩算法选择。

数据摄入与采集

批量导入（Sqoop/DataX）、实时流式（Kafka/Flink）、CDC技术。

数据存储引擎

HDFS、S3/OSS、HBase、Delta Lake、Iceberg、Hudi对比。

数据目录与元数据管理

Hive Metastore、AWS Glue Catalog、数据血缘追踪。

元数据目录

数据质量监控

数据完整性检查、异常检测、质量规则引擎。

数据安全与权限

RBAC/ABAC模型、数据脱敏、加密存储、审计日志。

数据湖成本优化

存储成本计算、查询成本控制、生命周期自动化降冷。

数据湖性能调优

小文件合并、查询引擎优化（Presto/Spark）、索引策略。

数据湖与AI/ML集成

特征存储、训练数据管道、模型推理数据湖。

实时数据湖

流批一体架构、实时物化视图、Flink + Iceberg实战。

数据湖迁移策略

从传统数仓迁移、从HDFS迁移到云、双跑验证方案。

数据湖治理

数据目录标准化、数据字典、数据分类分级。

治理标准化

冷热数据自动迁移

基于策略的自动迁移、Tiering引擎、调度任务设计。

数据湖监控与告警

存储使用率监控、查询性能监控、异常流量告警。

数据湖容灾与备份

跨区域复制、快照策略、数据恢复演练。

数据湖最佳实践

命名规范、目录结构设计、标签管理。

数据湖案例分析

电商数据湖、金融数据湖、IoT数据湖实战。

数据湖工具链

Apache Ranger、Atlas、Nifi、Airflow集成。

数据湖与数据网格

数据产品化、联邦治理、领域数据所有权。

数据湖未来趋势

Serverless数据湖、AI驱动治理、实时湖仓。

数据湖项目实战

需求分析、架构设计、实施部署、验收交付。

数据湖面试指南

常见面试题、系统设计题、架构对比题解析。