VIP20
本课程属于：082-AWS数据工程与分析平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

AWS大规模数据管道开发与治理体系

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与体系总览
目标=AWS大规模数据管道的定义 · 典型场景 · 核心挑战
课程导入体系总览
02
数据管道架构设计原则
目标=批流一体 · 松耦合 · 可扩展
数据管道架构设计…目标=批流一体
03
AWS存储层选型与治理
目标=S3数据湖分区 · 生命周期 · 存储类别
AWS存储层选型
04
数据摄取模式与实战
目标=Kinesis Data St… · Kinesis Firehose · MSK
数据摄取模式Kinesis
05
批处理管道构建
目标=AWS Glue ETL · Glue Studio · 作业书签
批处理管道构建AWS
06
流处理管道构建
目标=Kinesis Data An… · Flink · Spark Structured S…
流处理管道构建Kinesis
07
数据转换与编排
目标=Glue Workflow · Step Functions · MWAA
数据转换编排
08
数据湖与湖仓一体
目标=Lake Formation · Glue Catalog · Apache Iceberg
数据湖湖仓一体
09
数据仓库与数据集市
目标=Redshift · Redshift Spectrum · Redshift Serverles…
数据仓库数据集市
10
数据管道中的计算资源管理
目标=EMR · EMR Serverless · Glue DPU
数据管道计算资源管理
11
数据质量与校验体系
目标=Glue Data Quali… · Deequ · 自定义规则
数据质量校验体系
12
元数据管理与数据目录
目标=Glue Data Catal… · 爬网程序 · 分类
元数据管理数据目录
13
数据血缘与影响分析
目标=基于Glue · Step Functions · OpenLineage的血缘采集
数据血缘影响分析
14
数据安全与访问控制
目标=IAM · Lake Formation权限 · KMS加密
数据安全访问控制
15
数据隐私与合规治理
目标=PII识别 · 数据脱敏 · GDPR
数据隐私合规治理
16
数据管道可观测性
目标=CloudWatch · CloudTrail · X-Ray
数据管道可观测性CloudWatch
17
管道监控与告警实战
目标=基于EventBridge · SNS · Lambda
管道监控告警实战
18
数据管道容错与恢复
目标=重试策略 · 死信队列 · 幂等设计
数据管道容错恢复
19
数据管道性能调优
目标=分区策略 · 文件格式 · 压缩
数据管道性能调优目标=分区策略
20
数据管道成本治理
目标=成本分配标签 · 预算告警 · Savings Plans
数据管道成本治理目标=成本分配标…
21
数据治理框架与组织
目标=数据治理委员会 · 数据所有者 · Steward
数据治理框架组织
22
数据建模与Schema治理
目标=Schema Registry · Avro · Protobuf
Schema数据建模
23
主数据与参考数据管理
目标=MDM模式 · AWS Entity Resolut… · 参考数据同步与管道中的一致性保障
主数据参考数据管理
24
数据版本控制与CI/CD
目标=Git · CodePipeline · CodeBuild
CI/CD数据版本控制
25
数据管道测试策略
目标=单元测试 · 集成测试 · 数据测试
数据管道测试策略目标=单元测试
26
大规模数据迁移实战
目标=从本地 · 其他云 · 传统数仓迁移到AWS的管道设计
大规模数据迁移实…目标=从本地
27
实时分析与事件驱动管道
目标=Kafka · Kinesis · Lambda
实时分析事件驱动管道
28
机器学习数据管道
目标=SageMaker Pipel… · Feature Store · 数据准备
机器学习数据管道SageMaker
29
多租户与跨账户数据管道
目标=组织架构 · 跨账户访问 · 资源共享
多租户跨账户数据管道
30
综合实战与体系演进
目标=端到端大规模数据管道项目设计 · 治理体系落地 · 持续改进与前沿趋势
综合实战体系演进