VIP20

本课程属于：082-AWS数据工程与分析平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AWS数据质量与元数据治理

共计 30 章节

可可资料掘金营 · 点击在线试看

课程导入与全景认知

目标=数据质量与元数据治理的定义 · 业务价值 · 在AWS上的责任共担模型

课程导入全景认知

AWS数据治理服务地图

目标=Glue Data Catal… · Lake Formation · DataZone

AWS数据治理服务地图

构建第一个Glue Data Catalog

目标=使用爬虫自动发现S3数据 · 生成表与分区元数据 · 理解数据库

手动定义与版本化元数据

目标=通过Glue API/Clou… · SerDe · 分区投影

手动定义版本化元数据

元数据分类与标签体系

目标=在Glue Data Cata… · 标签 · 自定义属性

元数据分类标签体系

数据血缘采集入门

目标=使用Glue ETL作业自动生… · 理解血缘在数据质量根因分析中的作用

数据血缘采集入门Glue

使用AWS Glue DataBrew进行数据剖析

目标=创建数据集 · 运行剖析作业 · 生成列级统计与数据质量指标

定义数据质量规则

目标=在Glue DataBrew中… · 完整性 · 范围

定义数据质量规则Glue

自动化数据质量检查

目标=通过Glue ETL脚本集成E… · 在ETL管道中嵌入质量检查步骤并输出…

自动化数据质量检…Glue

数据质量结果的可观测化

目标=将Glue数据质量结果写入Cl… · 构建质量监控仪表板

数据质量结果的可…Glue

使用AWS Lambda与EventBridge响应质量事件

目标=当质量检查失败时自动触发通知 · 隔离坏数据或启动修复工作流

基于Lake Formation的细粒度访问控制

目标=配置列级 · 行级权限 · 结合LF-Tags实现基于标签的权限…

元数据治理中的敏感数据识别

目标=使用Amazon Macie自… · 将敏感分类结果回写到Glue Dat…

元数据治理敏感数据识别

构建企业级数据目录

目标=使用AWS DataZone创… · 定义数据产品 · 业务术语表与数据订阅流程

构建企业级数据目…AWS

DataZone中的元数据治理

目标=配置数据源 · 自动发现资产 · 管理业务元数据与技术元数据的映射

DataZone元数据治理

数据质量SLA与数据契约

目标=在DataZone中定义数据产… · 结合Glue质量规则实现数据契约的自…

SLA数据质量

跨账户元数据共享与治理

目标=使用Lake Formatio… · 结合RAM与LF-Tags实现多账户…

跨账户元数据共享治理

使用AWS Config与CloudTrail审计元数据变更

目标=监控Glue Data Cat… · Lake Formation权限变更 · 构建合规审计轨迹

元数据版本控制与变更管理

目标=通过Glue Schema R… · 结合CI/CD实现元数据变更的审批与…

元数据版本控制变更管理

数据质量根因分析实战

目标=基于血缘 · 质量指标与CloudWatch日志 · 定位数据管道中的质量故障并设计修复方…

数据质量根因分析…目标=基于血缘

构建端到端数据质量管道

目标=从S3原始数据到Glue ET… · 质量检查 · DataZone目录发布

构建端到端数据质…S3

使用Amazon Athena与Glue Data Catalog进行质量探查

目标=通过SQL查询元数据与数据质量… · 生成自定义质量报告

元数据驱动的ETL优化

目标=利用Glue Data Cat…

ETL元数据驱动的

数据质量指标的可视化与报告

目标=使用Amazon QuickS… · 构建质量KPI仪表板

数据质量指标的可…报告

自动化元数据标签与分类

目标=使用Lambda与Compre… · 并自动更新Glue表属性

自动化元数据标签分类

数据治理中的成本与元数据

目标=通过Glue Data Cat… · 优化数据湖存储成本

数据治理成本

使用AWS Step Functions编排治理工作流

目标=将爬虫 · 质量检查 · 血缘采集

数据质量与元数据治理的CI/CD

目标=使用CodePipeline · CloudFormation/CDK… · 质量规则

CI/CD数据质量

多团队数据治理协作

目标=基于DataZone项目与La… · 设计跨团队的数据发现 · 订阅与质量反馈机制

多团队数据治理协…DataZone

目标=为一家虚构企业构建AWS数据质… · 涵盖目录 · 质量

综合实战AWS