VIP20

本课程属于：082-AWS数据工程与分析平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AWS企业数据湖架构与工程建设

共计 30 章节

可可资料掘金营 · 点击在线试看

企业数据湖需求分析与AWS服务选型

目标=调研业务目标 · 数据源类型 · 数据量级与增长趋势

AWS企业数据湖需求分…

AWS数据湖总体架构设计

目标=基于Well-Architec… · 清洗层 · curated层

AWS数据湖总体架构设…

S3作为数据湖存储基座的设计与配置

目标=存储桶命名规范 · 生命周期策略 · 版本控制

S3作为数据湖存储基…

数据摄取模式与工具选型

目标=批量摄取（AWS DataSy… · Storage Gateway · Snowball）

数据摄取模式工具选型

使用AWS Glue构建数据目录与ETL流水线

目标=Glue Crawler自动发… · Data Catalog元数据管理 · Glue ETL作业开发（PySpa…

基于AWS Lake Formation的细粒度权限管理

目标=数据湖权限模型 · LF-Tags · 行列级安全

数据湖分区与文件格式优化

目标=Parquet · ORC · Avro格式对比与选型

数据湖分区文件格式优化

使用Amazon Athena进行交互式查询

目标=Athena工作原理 · Workgroup配置 · 查询优化技巧

基于Amazon Redshift的数据仓库与数据湖集成

目标=Redshift Spectr… · Redshift RA3架构 · 数据共享

使用Amazon EMR处理大规模数据

目标=EMR集群架构 · 实例类型与弹性伸缩 · Spark/Hive/Presto作…

流式数据处理与数据湖集成

目标=Kinesis Data Fi… · Kinesis Data Analy… · MSK Connect

流式数据处理数据湖集成

数据湖中的数据质量与清洗

目标=使用Glue DataBrew… · Deequ/Great Expect… · 数据清洗规则

数据湖数据质量

数据湖元数据与数据血缘管理

目标=Glue Data Catal… · Apache Atlas/DataH… · 血缘追踪

数据湖元数据数据血缘管理

数据湖安全与合规

目标=加密（SSE-S3 · SSE-KMS · CSE）

数据湖安全合规

数据湖成本管理与优化

目标=S3存储成本分析 · 生命周期策略优化 · Athena查询成本控制

数据湖成本管理优化

数据湖运维与监控

目标=CloudWatch指标与日志 · Glue作业监控 · Athena查询监控

数据湖运维监控

数据湖CI/CD与基础设施即代码

目标=使用CloudFormatio… · Glue作业版本控制 · CodePipeline自动化部署

数据湖中的数据建模与Schema演进

目标=维度建模与Data Vault… · Schema演进策略（Avro/Pa… · Glue Schema Regist…

Schema数据湖

构建批流一体的数据湖管道

目标=Kappa与Lambda架构对… · 使用Glue Streaming · Kinesis与S3结合

构建批流一体的数…Kappa

数据湖与机器学习集成

目标=SageMaker与数据湖集成 · 特征存储 · 使用Athena/Redshift准…

数据湖机器学习集成

数据湖中的查询加速与缓存

目标=Amazon Athena加速… · 分区投影） · Redshift物化视图

数据湖查询加速

跨账户与跨区域数据湖架构

目标=Lake Formation跨… · S3跨区域复制 · Glue Data Catalog跨…

跨账户跨区域数据湖架构

数据湖中的数据治理与合规

目标=数据分类分级 · GDPR删除权实现 · 数据保留策略

数据湖数据治理

使用AWS Step Functions编排数据湖工作流

目标=状态机设计 · 错误处理与重试 · 与Glue/Athena/Lambd…

数据湖中的实时分析

目标=使用Kinesis Data… · Apache Flink · Athena实时查询

数据湖实时分析

数据湖性能调优

目标=S3请求性能优化 · Glue作业调优 · Athena查询调优

数据湖性能调优S3

数据湖中的数据迁移与现代化

目标=从本地数据仓库迁移到数据湖 · 使用DMS和Snowball · 数据同步策略

数据湖数据迁移

数据湖中的机器学习与AI服务集成

目标=使用Comprehend · Rekognition · Textract处理非结构化数据

数据湖架构案例研究

目标=分析电商 · 金融 · 物联网等行业的数据湖架构

数据湖架构案例研…目标=分析电商

数据湖未来趋势与持续学习

目标=Lakehouse架构 · Apache Iceberg/Hud… · AWS新服务更新

数据湖未来趋势持续学习