VIP20

本课程属于：027-数据仓库建模 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据仓库宽表建模与性能优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

宽表设计概述

什么是宽表、宽表与星型模型的对比、宽表的适用场景与局限性

宽表设计原则

高扇出与低扇出设计、适度冗余原则、避免过度关联

字段类型选择

数值型、字符型、日期型的选择策略、精度与性能的权衡

分区与分桶策略

按时间分区、按业务维度分桶、分区键选择技巧

单列索引、复合索引、覆盖索引、索引失效场景

数据倾斜处理

热点Key问题、随机前缀打散、双重聚合方案

存储格式选择

ORC、Parquet、Avro对比、列式存储的优势

压缩算法选择

Snappy、Zlib、Zstd对比、压缩比与解压速度权衡

数据一致性保障

宽表与源表的数据同步、延迟处理、幂等性设计

一致性同步

宽表更新策略

全量覆盖、增量合并、拉链表设计

宽表查询优化

谓词下推、投影下推、向量化执行

宽表Join优化

MapJoin、BucketMapJoin、SkewJoin

宽表聚合优化

预聚合、物化视图、Rollup表设计

聚合预计算

宽表排序与分布

Order By优化、Distribute By策略、Cluster By使用

宽表生命周期管理

冷热数据分离、TTL设置、归档策略

生命周期治理

宽表血缘管理

字段级血缘追踪、影响分析、回滚方案

宽表质量监控

空值率、重复率、数据波动检测、异常报警

宽表性能基准测试

TPC-H测试、自定义压测、性能瓶颈定位

宽表在实时数仓中的应用

Flink写入宽表、实时维表关联、状态管理

宽表在OLAP引擎中的应用

ClickHouse、Doris、StarRocks宽表实践

宽表在数据湖中的应用

Hudi/Iceberg宽表、ACID事务、时间旅行

数据湖事务

宽表字段命名规范

驼峰命名、下划线命名、字段注释规范

规范可读性

宽表版本管理

Schema演进、向后兼容、版本号设计

宽表安全与权限

行级权限、列级权限、数据脱敏策略

宽表成本控制

存储成本、计算成本、查询成本优化

宽表迁移与重构

从星型模型迁移到宽表、宽表拆分策略

宽表在AI/ML中的应用

特征宽表设计、特征存储、在线推理

宽表在BI报表中的应用

大宽表设计、预计算加速、自助分析

宽表运维最佳实践

监控指标、告警规则、故障恢复SOP

宽表设计未来趋势

湖仓一体、数据网格、AI驱动优化