VIP20

本课程属于：082-AWS数据工程与分析平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AWS批流数据管道与任务编排

共计 30 章节

可可资料掘金营 · 点击在线试看

课程导入与全景认知

目标=批流数据管道的业务价值 · AWS 数据集成服务矩阵 · 任务编排的核心挑战与学习路线图

课程导入全景认知

AWS 数据管道基础组件

目标=S3 · Glue · Kinesis

AWS数据管道基础组件

批处理管道入门

目标=使用 AWS Glue 构建第… · 包括 Crawler · Data Catalog

批处理管道入门AWS

流式数据接入

目标=Kinesis Data St… · 分片管理 · 生产者与消费者实现

流式数据接入Kinesis

Kinesis 流式处理实战

目标=使用 Kinesis Data… · 聚合与异常检测

Kinesis流式处理实战

托管 Kafka 流处理

目标=Amazon MSK 集群搭建 · Topic 管理 · 生产者/消费者示例与与 Kinesi…

批流统一处理

目标=使用 AWS Glue 流式… · 实现微批与连续处理模式

批流统一处理AWS

数据湖与批流存储

目标=S3 分区设计 · Parquet 格式优化 · Glue Catalog 统一元数据…

数据湖批流存储

任务编排核心

目标=Step Functions… · 状态类型 · 错误处理与重试机制

任务编排核心Step

Step Functions 编排批处理任务

目标=触发 Glue Job · Lambda · ECS 任务

Step Functions 编排流处理任务

目标=集成 Kinesis · Lambda · SNS

Apache Airflow 在 AWS 上的托管

目标=MWAA 环境搭建 · DAG 编写 · Operator 与 Sensor…

Airflow 编排批流混合管道

目标=调度 Glue · EMR · Kinesis

Airflow编排批流混合管道

事件驱动编排

目标=EventBridge 规则 · SQS · SNS 与 Step Functio…

事件驱动编排EventBridge

数据管道中的 Lambda 函数

目标=编写 · 部署 · 权限管理

Lambda数据管道

使用 AWS Glue Workflow 编排 ETL

目标=触发器 · 依赖关系 · 监控与与 Step Function…

批处理性能调优

目标=Glue 作业并行度 · DPU 配置 · 分区裁剪

批处理性能调优Glue

流处理性能与容错

目标=Kinesis 分片扩缩容 · 检查点 · Lambda 并发控制

流处理性能容错

数据管道中的错误处理与重试

目标=死信队列 · Step Functions Cat… · Airflow 重试与告警

数据管道错误处理

监控与日志

目标=CloudWatch 指标 · 日志 · X-Ray 追踪

安全与权限

目标=IAM 角色 · 策略 · KMS 加密

目标=按需与预留资源 · Spot 实例 · Kinesis 分片成本

成本优化目标=按需

CI/CD 与基础设施即代码

目标=使用 CloudFormati… · CDK 或 Terraform 部署…

CI/CD基础设施即代码

实战项目一

目标=构建实时点击流管道 · 从 Kinesis 摄入到 S3 数… · 使用 Lambda 与 Fireho…

实战项目一目标=构建实时点…

实战项目二

目标=构建批处理数据仓库管道 · 使用 Glue 从 S3 转换到 R… · Step Functions 编排

实战项目二目标=构建批处理…

实战项目三

目标=混合批流管道 · 使用 MWAA 调度每日批处理与实时… · 统一数据输出

实战项目三目标=混合批流管…

实战项目四

目标=事件驱动的微服务数据管道 · 使用 EventBridge · Step Functions 和 L…

实战项目四目标=事件驱动的…

数据质量与治理

目标=Glue DataBrew · Lake Formation · 数据血缘与管道中的质量检查

数据质量治理

管道测试与调试

目标=本地测试 Glue 作业 · Step Functions 本地模… · Airflow DAG 测试与集成测…

管道测试调试

课程总结与进阶方向

目标=回顾核心架构模式 · 常见反模式 · Serverless 数据管道趋势与…

课程总结进阶方向