VIP20

本课程属于：082-AWS数据工程与分析平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AWS实时数据分析系统设计与部署

共计 30 章节

可可资料掘金营 · 点击在线试看

实时数据分析系统全景

目标=明确课程目标 · AWS实时数据服务矩阵 · 典型业务场景与端到端架构总览

实时数据分析系统…目标=明确课程目…

AWS实时数据摄取入口选型

目标=对比Kinesis Data… · Kinesis Data Fireh… · MSK

AWS实时数据摄取入口…

Kinesis Data Streams核心机制

目标=理解分片 · 分区键 · 序列号

Kinesis Data Streams生产端实战

目标=使用KPL · Kinesis Agent · AWS SDK构建高可靠数据生产者并…

Kinesis Data Streams消费端实战

目标=使用KCL · Lambda事件源映射 · 增强扇出实现低延迟消费与检查点管理

Kinesis Data Firehose交付管道

目标=配置缓冲 · 压缩 · 格式转换

Amazon MSK实时摄取

目标=搭建Kafka集群 · Topic规划 · 生产者消费者调优

AWS IoT Core实时数据接入

目标=MQTT主题设计 · 规则引擎路由 · 设备影子与高频遥测数据摄取实践

实时数据存储与湖仓分层

目标=设计S3原始层 · 清洗层 · 聚合层

实时数据存储湖仓分层

Amazon Redshift实时分析

目标=使用Redshift Stre… · 物化视图 · 并发扩展支撑实时BI查询

Amazon OpenSearch实时检索

目标=构建日志与指标实时搜索管道 · 索引模板 · ISM策略与查询性能调优

AmazonOpenSearch

Amazon Timestream时序分析

目标=设计时序表 · 内存存储与磁存储分层 · 时间序列函数与实时监控看板

AmazonTimestream

AWS Lambda实时处理

目标=事件源映射 · 批处理窗口 · 并发控制

AWS Glue Streaming ETL

目标=基于Spark Structu… · 状态管理 · 检查点与数据湖写入

Amazon Managed Service for Apache Flink

目标=使用Flink SQL/Dat… · 窗口 · 水位线与Exactly-Once语义

Kinesis Data Analytics实时SQL

目标=编写滑动窗口 · 滚动窗口 · 临时查询

实时数据转换与 enrichment

目标=使用Lambda · Glue · Flink进行字段映射

enrichment实时数据转换

实时数据分区与文件布局优化

目标=基于时间 · 业务键设计S3分区 · 控制小文件

实时数据分区文件布局优化

实时数据Schema管理

目标=使用Glue Schema R… · Avro · Protobuf

Schema实时数据

实时管道可观测性

目标=配置CloudWatch指标 · 日志 · X-Ray追踪

实时管道可观测性CloudWatch

实时数据容错与重放

目标=设计死信队列 · 错误记录归档 · 检查点恢复

实时数据容错重放

实时系统安全与合规

目标=IAM最小权限 · VPC端点 · KMS加密

实时系统安全合规

实时数据分析性能调优

目标=分片热键 · Lambda并发 · Flink并行度

实时数据分析性能…目标=分片热键

实时成本优化

目标=按需与预置容量选择 · Kinesis分片计费 · Lambda内存调优

实时成本优化目标=按需

实时监控与告警看板

目标=使用CloudWatch Da… · Grafana · OpenSearch Dashboa…

实时监控告警看板

实时异常检测与告警

目标=结合Flink CEP · Lambda · SNS

实时异常检测告警

实时数据集成到数据仓库

目标=使用Redshift Stre… · Glue · Firehose实现流式入仓与近实时…

实时数据集成到数…Redshift

实时机器学习推理管道

目标=使用SageMaker · Lambda · Flink调用模型端点

实时机器学习推理…SageMaker

端到端项目实战

目标=从IoT/日志/点击流场景出发 · 设计并部署完整实时管道 · 包含摄取

端到端项目实战IoT

生产部署与运维

目标=使用CDK/Terraform · CI/CD · 蓝绿发布

生产部署运维