VIP20
本课程属于:027-数据仓库建模 数据工程与实时数据平台 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据仓库查询与存储资源优化

📚 共计 30 章节
点击此处阅读海量试读课程:100+行业、1000+细分领域
01
数据仓库性能问题全景
常见性能瓶颈、性能指标体系、优化方法论总览,建立全局性能视角。
全景方法论
02
数据模型设计对性能的影响
星型模型、雪花模型、宽表模型的选择与权衡,模型设计如何左右查询效率。
模型星型雪花
03
维度建模优化
缓慢变化维(SCD)策略、维度退化、维度合并与拆分,提升维度灵活性与查询速度。
SCD维度
04
事实表设计优化
事务事实表、周期快照事实表、累积快照事实表的场景选择,精准匹配业务分析。
事实表快照
05
索引策略基础
B-Tree索引、位图索引、函数索引的原理与适用场景,加速数据检索。
B-Tree位图函数索引
06
分区技术详解
范围分区、列表分区、哈希分区、组合分区的设计与实践,管理海量数据。
分区范围哈希
07
分桶与数据分布
哈希分桶、范围分桶、数据倾斜问题的识别与处理,均衡负载。
分桶倾斜
08
数据压缩技术
行式压缩、列式压缩、编码方式选择(字典编码、游程编码、差分编码)。
压缩列式编码
09
物化视图
物化视图的创建、刷新策略(全量/增量)、查询重写机制,预计算加速。
物化视图刷新
10
查询优化器基础
CBO与RBO、统计信息收集、执行计划解读,理解优化器决策。
CBO执行计划
11
SQL重写技巧
子查询优化、Join顺序调整、谓词下推、投影下推,改写即优化。
SQL谓词下推
12
Join优化
Hash Join、Merge Join、Nested Loop Join的选择与调优,降低关联成本。
JoinHashMerge
13
聚合查询优化
Group By优化、Count Distinct优化、窗口函数优化,加速汇总计算。
聚合窗口函数
14
数据倾斜处理
Join倾斜、Group By倾斜、动态重分区策略,解决长尾问题。
倾斜重分区
15
内存管理
缓冲池配置、排序区、哈希区、内存溢出处理,精细调控内存。
内存缓冲池
16
存储层级优化
SSD vs HDD、冷热数据分层、数据生命周期管理,降低存储成本。
存储分层生命周期
17
列式存储原理
Parquet/ORC格式选择、列裁剪、谓词下推在列存中的实现。
ParquetORC列裁剪
18
数据写入优化
批量写入、微批处理、Merge Into策略、写入吞吐量调优。
写入Merge Into
19
ETL性能优化
增量抽取策略、并行加载、数据管道监控,提升ETL效率。
ETL增量并行
20
数据一致性对性能的影响
事务隔离级别、锁机制、MVCC与性能权衡,平衡一致性与吞吐。
事务MVCC锁
21
资源管理与调度
Yarn/Kubernetes资源分配、查询队列、并发控制,保障SLA。
YarnK8s调度
22
缓存策略
结果集缓存、元数据缓存、数据块缓存、分布式缓存,减少重复计算。
缓存分布式
23
网络与IO优化
数据本地性、网络带宽、序列化/反序列化开销,降低传输延迟。
网络IO序列化
24
大规模数据采样
分层采样、随机采样、近似查询(HyperLogLog、Count-Min Sketch)。
采样HyperLogLog
25
实时数仓性能
流式写入性能、实时查询延迟、Lambda架构与Kappa架构。
实时LambdaKappa
26
云数仓特性
计算存储分离、弹性扩缩容、Serverless场景下的优化。
云数仓Serverless
27
性能监控与诊断
慢查询日志、系统指标监控、Profiling工具使用,快速定位瓶颈。
监控Profiling
28
自动化优化
Auto-tuning、智能索引推荐、查询负载分析,迈向自动驾驶。
Auto-tuning智能
29
案例实战一:电商数仓
查询从分钟级到秒级的优化全过程,真实场景拆解。
电商实战
30
案例实战二:金融数仓
存储成本降低50%的存储与压缩策略改造,量化收益。
金融压缩成本
专注课程资料整理