VIP20
本课程属于：086-Google Cloud云原生与数据平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Google Cloud实时数据处理系统开发

共计 30 章节
可可资料掘金营 · 点击在线试看
01
实时数据处理系统全景
目标=Google Cloud实时数… · Pub/Sub · Dataflow
实时数据处理系统…Google
02
Pub/Sub核心机制
目标=主题与订阅模型 · 消息发布与拉取 · 确认与重试
Pub/Sub核心机制
03
Pub/Sub实战
目标=创建主题与订阅 · 发布/订阅消息 · 使用gcloud和客户端库
Pub/Sub目标=创建主题
04
Dataflow编程模型
目标=Apache Beam核心概念 · PCollection · Transform
Dataflow编程模型
05
Dataflow窗口与触发器
目标=固定窗口 · 滑动窗口 · 会话窗口
Dataflow窗口
06
Dataflow连接Pub/Sub
目标=从Pub/Sub读取实时数据 · 写入Pub/Sub · Exactly-once语义与去重策…
DataflowPub/Sub
07
Dataflow状态与定时器
目标=用户状态 · BagState · MapState
Dataflow状态
08
Dataflow流处理实战
目标=实时ETL · 清洗 · 过滤
Dataflow流处理实战
09
Dataflow模板与自动化
目标=使用Google提供模板 · 自定义模板 · Flex模板
Dataflow模板
10
Dataflow性能调优
目标=自动扩缩 · 工作线程配置 · Shuffle优化
Dataflow性能调优
11
Bigtable实时存储
目标=表设计 · 行键设计 · 列族
Bigtable实时存储
12
Bigtable实战
目标=实时写入 · 点查 · 范围扫描
Bigtable目标=实时写入
13
BigQuery实时分析
目标=流式插入 · Storage Write API · BigQuery ML
BigQuery实时分析
14
BigQuery与Dataflow集成
目标=流式写入BigQuery · 去重 · Schema演进
BigQueryDataflow
15
Cloud Functions与Eventarc
目标=事件驱动处理 · Pub/Sub触发 · Cloud Storage事件
CloudFunctions
16
Cloud Run实时服务
目标=容器化实时API · Pub/Sub推送订阅 · 自动扩缩
CloudRun
17
实时数据管道监控
目标=Cloud Monitorin… · Cloud Logging · Dataflow指标
实时数据管道监控Cloud
18
实时数据质量与治理
目标=Dataflow中的校验 · 死信模式 · Data Catalog
实时数据质量治理
19
实时安全与合规
目标=IAM · 服务账号 · VPC Service Contro…
实时安全合规
20
实时机器学习推理
目标=Dataflow与Vertex… · 在线预测 · 特征存储
实时机器学习推理Dataflow
21
实时会话化与用户行为分析
目标=会话窗口 · 用户画像 · 实时推荐
实时会话化用户行为分析
22
实时欺诈检测系统
目标=规则引擎 · 异常检测 · Dataflow状态处理
实时欺诈检测系统目标=规则引擎
23
实时IoT数据处理
目标=Pub/Sub接收设备数据 · Dataflow处理 · Bigtable存储
IoT实时
24
实时日志与事件分析
目标=从Cloud Logging导… · Dataflow解析 · BigQuery存储
实时日志事件分析
25
混合云与多云实时数据
目标=Pub/Sub与Kafka对比 · Dataflow与Flink对比 · 跨云数据同步策略
混合云多云实时数据
26
实时数据管道容错与恢复
目标=检查点 · 快照 · 重放
实时数据管道容错恢复
27
成本优化与资源管理
目标=Pub/Sub配额 · Dataflow定价 · Bigtable节点
成本优化资源管理
28
端到端实时项目实战（一）
目标=需求分析 · 架构设计 · Pub/Sub+Dataflow+B…
端到端实时项目实…目标=需求分析
29
端到端实时项目实战（二）
目标=实现数据生成 · 流处理 · 存储
端到端实时项目实…目标=实现数据生…
30
课程总结与前沿展望
目标=核心知识点回顾 · 最佳实践 · Google Cloud实时数据新技…
课程总结前沿展望