VIP20
本课程属于：082-AWS数据工程与分析平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

AWS批流一体数据处理平台开发

共计 30 章节
可可资料掘金营 · 点击在线试看
01
批流一体数据处理平台需求分析与架构总览
目标=理解批处理与流处理的差异与统一… · 梳理典型业务场景 · 定义平台功能边界
批流一体数据处理…架构总览
02
AWS数据存储与计算服务选型
目标=对比S3 · Kinesis · MSK
AWS数据存储
03
基于S3的数据湖分层设计
目标=实现原始区 · 清洗区 · 聚合区与消费区的目录规划
S3基于
04
Kinesis Data Streams实时接入设计
目标=创建数据流 · 配置分片与保留周期 · 编写生产者与消费者示例
KinesisData
05
Amazon MSK作为流式数据总线
目标=部署MSK集群 · 创建Topic · 配置分区与副本
AmazonMSK
06
AWS Glue Data Catalog元数据管理
目标=创建数据库与表 · 定义Schema · 配置分区爬取
AWSGlue
07
AWS Glue ETL批处理作业开发
目标=使用Glue Studio与P… · 完成S3原始数据到清洗区的转换 · 分区写入与作业调度
AWSGlue
08
Amazon EMR批处理作业开发
目标=配置EMR集群 · 提交Spark批处理任务 · 处理大规模历史数据
AmazonEMR
09
Apache Flink on AWS流处理作业开发
目标=在Kinesis Data A… · 实现实时窗口聚合 · 事件时间处理与水位线机制
ApacheFlink
10
Lambda与Kinesis集成实现轻量流处理
目标=编写Lambda函数消费Kin… · 完成实时过滤 · 字段映射与下游写入
LambdaKinesis
11
批流一体统一计算引擎选型与对比
目标=对比Flink · Spark Structured S… · Glue Streaming在批流统…
批流一体统一计算…对比
12
使用Spark Structured Streaming实现批流一体
目标=在EMR或Glue中编写Str… · 统一读取Kinesis与S3数据 · 实现增量处理与流式聚合
SparkStructured
13
基于Flink SQL的批流一体查询
目标=使用Flink SQL对Kaf… · 实现流表与批表的Join · 窗口聚合与结果输出
FlinkSQL
14
数据湖格式Iceberg与Hudi在批流一体中的应用
目标=在S3上部署Iceberg或H… · 实现流式写入与批式读取 · 增量查询与时间旅行
IcebergHudi
15
统一数据管道编排与调度
目标=使用AWS Step Func… · MWAA或EventBridge编排… · 实现依赖管理
统一数据管道编排调度
16
批流一体数据质量与校验
目标=设计数据质量规则 · 使用Glue Data Qualit… · Deequ或自定义校验逻辑
批流一体数据质量校验
17
Exactly-Once与幂等性保障
目标=分析Kinesis · Kafka · Flink与Spark在故障恢复中的…
Exactly-Once幂等性保障
18
批流一体平台的状态管理与容错
目标=配置Flink检查点与保存点 · Spark Streaming检查点 · 实现作业故障恢复与状态一致性
批流一体平台的状…容错
19
实时数仓分层建模
目标=基于Kinesis · Flink与Iceberg构建ODS · DWD
实时数仓分层建模Kinesis
20
批流一体数据服务化输出
目标=将处理结果写入Redshift · OpenSearch · DynamoDB或S3
批流一体数据服务…Redshift
21
平台安全与权限管理
目标=配置IAM角色 · KMS加密 · VPC端点与Lake Formati…
平台安全权限管理
22
成本优化与资源管理
目标=分析Kinesis分片 · MSK Broker · EMR实例与Glue DPU成本
成本优化资源管理
23
监控、日志与可观测性
目标=使用CloudWatch · Prometheus · Grafana与X-Ray监控批流作…
监控日志
24
批流一体平台CI/CD与基础设施即代码
目标=使用CDK或Terraform… · MSK · Glue
CI/CD批流一体平台
25
实战
目标=构建实时点击流批流一体管道 · Flink实时聚合 · Iceberg存储
目标=构建实时点…Flink
26
实战
目标=构建CDC数据同步与批流一体入… · MSK传输 · Flink写入Iceberg
CDC目标=构建
27
实战
目标=构建IoT设备数据批流一体分析… · Kinesis · Flink实时告警
IoT目标=构建
28
实战
目标=构建日志数据批流一体处理平台 · Lambda · Glue与Athena
目标=构建日志数…Lambda
29
平台性能调优与压力测试
目标=针对Kinesis分片 · Flink并行度 · Spark分区与Iceberg写入进…
平台性能调优压力测试
30
平台演进与前沿集成
目标=探索Lake Formatio… · Redshift Streaming… · Flink on Kubernete…
平台演进前沿集成