VIP20

本课程属于：086-Google Cloud云原生与数据平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Google Cloud大规模数据分析平台工程

共计 30 章节

可可资料掘金营 · 点击在线试看

课程导入与平台工程全景

目标=Google Cloud数据分… · 大规模平台的核心挑战 · 工程化视角与学习路径

课程导入平台工程全景

Google Cloud数据分析平台架构设计

目标=从数据源到消费端的端到端架构 · 关键组件选型 · 可扩展性与成本权衡

BigQuery核心机制与工程化使用

目标=数据集与表设计 · 分区与聚簇 · 槽位与预留

BigQuery核心机制

BigQuery高级查询与性能调优

目标=执行计划分析 · 连接优化 · 窗口函数

BigQuery高级查询

BigQuery数据加载与导出工程

目标=批量加载 · 流式插入 · Storage Write API

BigQuery数据加载

Cloud Storage作为数据湖基座

目标=存储类别 · 生命周期 · 对象命名与分区布局

Pub/Sub实时数据接入工程

目标=主题与订阅设计 · 消息顺序与去重 · 死信队列

Pub/Sub实时数据接入工程

Dataflow流批一体处理

目标=Apache Beam编程模型 · 窗口与触发器 · 状态与定时器

Dataflow流批一体处理

Dataproc与Spark/Hadoop生态集成

目标=集群配置与自动扩缩 · 作业提交 · 与BigQuery和Cloud St…

DataprocSpark/Hadoop

Cloud Composer编排数据管道

目标=DAG设计 · Operator与Sensor · 依赖管理

Dataform与SQL工作流工程化

目标=数据建模 · 依赖管理 · 测试与文档

Dataplex数据治理与湖仓管理

目标=数据发现 · 元数据管理 · 数据质量

Dataplex数据治理

Data Catalog与元数据工程

目标=标签与分类 · 搜索与血缘 · 与BigQuery和Dataplex…

BigQuery BI Engine与Looker工程集成

目标=内存分析加速 · Looker建模 · 嵌入式分析

实时分析与Looker Studio

目标=实时数据源连接 · 仪表板设计 · 查询性能优化

数据安全与合规工程

目标=IAM与VPC Service… · 列级与行级安全 · 数据脱敏

数据安全合规工程

数据加密与密钥管理

目标=默认加密 · CMEK · CSEK

数据加密密钥管理

成本管理与优化工程

目标=BigQuery定价模型 · 槽位预留与自动扩缩 · 存储优化

成本管理优化工程

监控、日志与可观测性

目标=Cloud Monitorin… · 自定义指标 · 告警策略

CI/CD与基础设施即代码

目标=Terraform部署BigQ… · Cloud Build流水线 · 环境隔离

CI/CD基础设施即代码

数据管道容错与重试工程

目标=错误处理模式 · 幂等性设计 · 死信与重放

数据管道容错重试工程

大规模数据迁移工程

目标=从本地或其他云迁移到BigQu… · Transfer Service · Storage Transfer S…

大规模数据迁移工…BigQu

机器学习与数据分析集成

目标=BigQuery ML · Vertex AI集成 · 特征工程

机器学习数据分析集成

数据仓库建模与维度设计

目标=星型与雪花模型 · 缓慢变化维度 · 代理键

数据仓库建模维度设计

数据湖仓一体化架构

目标=BigLake · Dataplex · BigQuery Omni

数据湖仓一体化架…BigLake

事件驱动与流式分析实战

目标=Pub/Sub到Dataflo… · 实时仪表板 · 异常检测

事件驱动流式分析实战

批处理管道实战

目标=Cloud Storage到D… · 分区优化 · 调度与监控

批处理管道实战Cloud

混合云与多云数据分析

目标=Anthos · BigQuery Omni · 跨云数据移动

混合云多云数据分析

性能基准与容量规划

目标=BigQuery槽位基准测试 · Dataflow吞吐量调优 · 存储IO优化

性能基准容量规划

平台工程最佳实践与未来趋势

目标=架构模式总结 · 团队协作 · 自动化运维

平台工程最佳实践未来趋势