VIP13
本课程属于：015-数据仓库、建模与Analytics Engineering 后端、数据与云原生工程 · 共 13 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

云数据仓库与现代数仓生产实践与性能优化

共计 30 章节
可可资料掘金营 · 点击在线试看
01
云数据仓库的演进与核心特征
目标=从传统数仓到云原生架构的转变 · 理解存算分离 · 弹性伸缩
云数据仓库的演进核心特征
02
现代数仓生产环境搭建
目标=在云平台上创建数据仓库实例 · 配置网络 · 安全组
现代数仓生产环境…目标=
03
数据集成与入仓策略
目标=设计从业务数据库 · 日志 · API等源系统到云数仓的数据同步方案
数据集成入仓策略
04
数仓分层建模实战
目标=基于ODS · DWD · DWS
数仓分层建模实战ODS
05
维度建模进阶
目标=处理缓慢变化维（SCD Typ… · 退化维度 · 杂项维度
维度建模进阶SCD
06
分区与分桶策略设计
目标=根据数据增长模式与查询特征 · 选择时间分区 · 范围分区
分区分桶策略设计
07
存储格式与压缩选择
目标=对比Parquet · ORC · Avro
存储格式压缩选择
08
SQL查询性能诊断基础
目标=使用执行计划 · 查询剖析工具 · 系统视图定位全表扫描
SQL查询性能诊断基础
09
统计信息与元数据管理
目标=收集表 · 列 · 分区统计信息
统计信息元数据管理
10
索引与物化视图优化
目标=在云数仓中应用排序键 · 分布键 · 聚簇索引
索引物化视图优化
11
数据倾斜识别与治理
目标=通过日志与监控发现Join · Group By · Distinct等操作中的数据倾斜
数据倾斜识别治理
12
Join策略与执行优化
目标=理解Broadcast Joi… · Shuffle Join · Sort-Merge Join的适用…
Join策略
13
资源队列与并发控制
目标=配置计算资源组 · 查询队列 · 并发上限
资源队列并发控制
14
工作流调度与依赖管理
目标=使用Airflow · Dagster · 云原生调度服务编排数仓ETL任务
工作流调度依赖管理
15
数据质量监控与异常处理
目标=建立完整性 · 唯一性 · 一致性
数据质量监控异常处理
16
元数据管理与数据血缘
目标=采集技术元数据 · 业务元数据 · 操作元数据
元数据管理数据血缘
17
成本优化与资源治理
目标=分析存储 · 计算 · 扫描量等成本构成
成本优化资源治理
18
安全与权限体系设计
目标=实施行列级访问控制 · 动态数据脱敏 · 审计日志
安全权限体系设计
19
实时数仓架构与实践
目标=对比Lambda与Kappa架… · 使用Flink · Kafka
实时数仓架构Lambda
20
CDC增量同步与合并
目标=基于Debezium · Canal等工具捕获数据库变更 · 在云数仓中实现Upsert
CDC增量同步
21
数据湖与云数仓协同
目标=理解Lakehouse架构 · 使用开放表格式（Iceberg · Hudi
数据湖云数仓协同
22
机器学习与数仓融合
目标=在云数仓内使用SQL或Pyth… · 模型训练与预测 · 或将数仓数据高效导出至机器学习平台
机器学习数仓融合
23
多租户与隔离策略
目标=设计数据库 · Schema · 计算组级别的隔离方案
多租户隔离策略
24
备份恢复与容灾设计
目标=制定全量/增量备份策略 · 配置跨区域复制与故障切换 · 演练数据恢复流程
备份恢复容灾设计
25
版本升级与迁移实践
目标=规划云数仓版本升级 · 引擎切换 · 跨云迁移的步骤
版本升级迁移实践
26
性能基准测试与容量规划
目标=设计TPC-DS · TPC-H等基准测试 · 评估不同规模
性能基准测试容量规划
27
生产事故案例复盘
目标=分析真实云数仓生产中的典型故障… · 查询雪崩 · 资源耗尽）
生产事故案例复盘目标=分析真实云…
28
数仓可观测性体系建设
目标=整合日志 · 指标 · 链路追踪
数仓可观测性体系…目标=整合日志
29
数据治理与资产运营
目标=建立数据标准 · 数据地图 · 资产评分
数据治理资产运营
30
综合实战
目标=端到端构建云上现代数仓 · 架构设计 · 数据集成
综合实战目标=端到端构建…