VIP20

本课程属于：002-数据湖仓平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

湖仓读写资源调度与全链路性能优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

湖仓一体架构概述

数据湖与数据仓库的演进、湖仓一体核心概念、Lambda架构与Kappa架构对比。

存储层性能优化

对象存储与HDFS选型、文件格式选择（Parquet/ORC/Avro）、分区策略与桶表设计。

存储文件格式

计算引擎调优

Spark SQL执行计划解析、Shuffle优化、动态资源分配与并行度设置。

查询性能加速

数据布局优化（Z-order/Clustering）、物化视图与预计算、缓存策略（Alluxio/本地缓存）。

查询物化视图

元数据管理优化

Hive Metastore调优、分区剪枝与统计信息、Iceberg/Hudi表格式的元数据加速。

数据写入优化

小文件合并策略、批量写入与微批处理、事务冲突处理（OCC/MVCC）。

实时性能优化

流式写入的背压机制、Checkpoint与状态后端调优、端到端延迟优化。

资源管理与隔离

YARN/Kubernetes资源调度、多租户性能隔离、查询队列与优先级。

数据压缩与编码

列式压缩算法选择（Snappy/Zstd/LZ4）、字典编码与游程编码、压缩率与解压速度权衡。

网络与IO优化

机架感知与数据本地性、网络带宽瓶颈分析、异步IO与预读取。

SQL优化技巧

谓词下推与投影下推、Join策略选择（Broadcast/SortMerge）、子查询优化。

数据倾斜处理

Key倾斜检测、Salting技术、两阶段聚合与随机前缀。

事务与一致性优化

ACID事务在湖仓中的实现、快照隔离级别、并发控制策略。

数据生命周期管理

冷热数据分层、自动归档策略、TTL与数据过期清理。

生命周期归档

监控与诊断

Query Profile分析、慢查询日志、性能指标采集（Prometheus/Grafana）。

基准测试方法论

TPC-DS/TPC-H测试套件、自定义性能基准、结果对比分析。

基准测试TPC

Spark 3.x 新特性优化

AQE（自适应查询执行）、动态分区修剪、优化器规则扩展。

Flink 在湖仓中的性能优化

状态后端选择（RocksDB/Heap）、Checkpoint间隔调优、Watermark策略。

Flink状态后端

Hudi 性能调优

写入模式选择（Copy-on-Write/Merge-on-Read）、索引优化（Bloom/Global）、Compaction策略。

Iceberg 性能调优

Manifest文件管理、分区演化、隐藏分区与排序。

Iceberg分区演化

Delta Lake 性能调优

日志压缩、Vacuum策略、Optimize命令与Z-order。

Delta LakeZ-order

数据摄取性能优化

Kafka Connect与Debezium调优、批量加载工具（Apache Gobblin/SeaTunnel）。

ETL/ELT 流程优化

增量抽取策略、维度建模优化、缓慢变化维（SCD）处理。

数据湖仓安全与性能

RBAC/ABAC对查询性能的影响、数据脱敏与列级权限、审计日志开销。

云原生湖仓优化

AWS Lake Formation/EMR、Azure Synapse、Google BigLake 性能特性。

混合云与多云架构

数据同步延迟优化、跨区域查询加速、带宽成本与性能平衡。

混合云多云

AI/ML 工作负载优化

特征工程数据管道、模型训练数据加载优化、Feature Store 集成。

AI/MLFeature Store

数据湖仓容量规划

存储与计算资源预估、弹性扩缩容策略、成本与性能的ROI分析。

实战案例一：电商实时数仓

某电商平台实时数仓性能优化（从10分钟到30秒的查询加速）。

电商实时数仓

实战案例二：金融湖仓迁移

某金融企业湖仓一体迁移与性能调优（PB级数据治理与查询优化）。