VIP20

本课程属于：014-大数据计算优化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Spark自适应查询执行深度解析

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

自适应查询执行概述

什么是自适应查询执行、为什么需要自适应、核心挑战与目标。

基础核心概念

传统查询执行引擎的局限性

静态计划的问题、统计信息误差的影响、运行时环境变化。

背景问题分析

自适应查询执行的核心架构

反馈循环、决策点、执行模型。

运行时统计信息收集

基数估计修正、数据倾斜检测、资源使用监控。

监控数据驱动

动态计划重优化

何时触发重优化、重优化策略、代价模型更新。

优化动态调整

自适应连接算法

Hash Join vs Nested Loop Join的动态选择、布隆过滤器自适应。

自适应数据分区

动态分区修剪、数据重分布策略、Skew Handling。

分区数据分布

内存管理与自适应

动态内存分配、Spill-to-Disk策略、内存预算调整。

内存资源管理

并行度自适应

动态调整并行度、资源争用检测、CPU/IO平衡。

自适应查询缓存

结果缓存、中间结果复用、缓存失效策略。

基于机器学习的自适应优化

学习型基数估计、代价模型学习、查询模式识别。

机器学习智能

自适应索引与数据布局

自适应索引创建、列式存储动态选择、数据排序策略。

分布式环境下的自适应查询

数据本地性感知、网络延迟自适应、动态任务调度。

分布式调度

自适应查询执行中的状态管理

中间状态保存、故障恢复、一致性保证。

自适应查询执行的代价模型

动态代价函数、多目标优化、权衡分析。

自适应查询执行的反馈机制

执行后分析、计划质量评估、反馈回路设计。

自适应查询执行的安全与隔离

资源隔离、查询间干扰、安全边界。

自适应查询执行的测试与验证

基准测试设计、回归测试、混沌工程。

自适应查询执行的性能调优

参数调优、瓶颈分析、最佳实践。

自适应查询执行在OLTP场景中的应用

短查询优化、事务处理、并发控制。

自适应查询执行在OLAP场景中的应用

复杂查询优化、大规模聚合、窗口函数。

自适应查询执行在HTAP场景中的应用

混合负载、实时分析、资源争用。

自适应查询执行在流处理中的应用

动态窗口、状态管理、背压自适应。

流处理实时

自适应查询执行在云原生数据库中的应用

弹性伸缩、多租户、Serverless。

云原生Serverless

自适应查询执行在内存数据库中的应用

缓存感知、NUMA优化、向量化执行。

自适应查询执行在数据湖中的应用

文件格式自适应、分区裁剪、元数据优化。

数据湖格式

自适应查询执行的未来趋势

AI原生数据库、自治数据库、自适应优化器。

自适应查询执行的案例分析

Apache Spark AQE、Presto/Trino自适应、ClickHouse自适应。

自适应查询执行的实现挑战

工程复杂度、调试难度、可预测性。

自适应查询执行总结与展望

技术总结、最佳实践、未来方向。