VIP20

本课程属于：043-OLAP分析引擎 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Doris多表Join查询与性能优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Doris Join概述

Join基本概念，支持Inner/Left/Right/Full/Cross Join，执行流程概览。

基础执行流程

Join查询计划解读

EXPLAIN输出、Plan Node/Fragment、HASH/MERGE/NESTED LOOP JOIN、Shuffle策略。

数据模型与Join性能

Duplicate/Aggregate/Unique模型影响，Key/Value策略，分区与分桶优化。

数据模型分桶

Colocation Join原理与实战

Colocation概念优势，Group创建管理，适用场景限制，实际配置案例。

Colocation实战

Bucket Shuffle Join

工作原理，与Colocation对比，适用场景与参数配置，性能调优实践。

适用场景，内存控制，broadcast_row_limit配置，实际案例与性能对比。

执行机制，适用场景，资源消耗分析，避免不必要的Shuffle。

Runtime Filter原理与应用

IN/BLOOM_FILTER/MIN_MAX类型，生成下推，配置参数，性能提升案例。

Join顺序优化

顺序影响，基于代价重排，手动hints，星型与雪花模型策略。

Join键选择与数据类型优化

数据类型选择，避免隐式转换，NULL值处理，高基数字段策略。

数据类型隐式转换

大表Join大表优化策略

数据倾斜识别，分桶键调整，Salting技术，动态分区裁剪。

大表Join小表优化策略

强制Broadcast，小表物化缓存，Global Dictionary，Runtime Filter深度利用。

多表Join的Pipeline执行模型

Pipeline引擎简介，多表Join执行流程，parallelism/batch_size调优，性能对比。

物化视图与Join加速

物化视图概念创建，查询改写，刷新策略，Join最佳实践。

物化视图改写

SQL改写与Join优化

子查询与Join转换，CTE优化，避免笛卡尔积，EXISTS/NOT EXISTS替代。

Join中的内存管理

内存消耗分析，Buffer Pool配置，Spill to Disk，exec_mem_limit设置。

Join中的网络开销优化

数据压缩序列化，带宽控制，减少Shuffle数据量，本地性调度。

Join查询的超时与重试

query_timeout参数，超时原因，重试策略与幂等性，优雅处理失败。

Join性能监控与诊断

Profile工具，Metrics解读，慢查询日志，性能瓶颈定位。

Join并发控制与资源隔离

Workload Group配置，并发度控制，内存/CPU/IO隔离，多租户优化。

实时场景下的Join优化

实时导入冲突，Flink CDC+Doris实时Join，微批处理，数据新鲜度权衡。

实时Flink CDC

复杂数据类型在Join中的应用

Array/Map/Struct Join，JSON处理，Bitmap/HLL加速，案例分享。

复杂类型JSON

Join与窗口函数的结合

窗口函数前后使用，优化Join后聚合，滑动窗口Join，调优要点。

窗口函数滑动窗口

Join与聚合的协同优化

Aggregation Pushdown，Partial Aggregate，Multi-phase Aggregate，物化视图预聚合。

跨集群Join（Federation）

Multi-Catalog配置，跨数据源Join(Hive/Iceberg/Hudi)，网络延迟处理，一致性。

Federation跨集群

Join的测试与基准测试

构建测试数据集，TPC-H/TPC-DS基准，性能对比分析，自动化测试框架。

基准测试TPC-H

Join调优的常见陷阱与反模式

隐形笛卡尔积，忽视数据倾斜，不合理分桶，过度Broadcast Join。

反模式陷阱

Join调优案例实战（一）

电商订单场景，用户画像标签，广告归因多表Join，日志分析优化。

Join调优案例实战（二）

金融风控，物联网时序数据，社交网络关系图，BI报表性能提升。

金融物联网

Join调优的未来趋势

Doris 3.0 Join新特性，AI辅助优化，Serverless挑战，社区Roadmap。