VIP20

本课程属于：043-OLAP分析引擎 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

ClickHouse与Doris分析引擎选型

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

OLAP引擎全景概览

OLAP定义与OLTP差异，三大流派：MPP、SQL-on-Hadoop、搜索引擎，选型核心思考框架。

ClickHouse深度剖析（上）

列式存储、向量化执行、MergeTree家族、分区与排序键设计，核心原理精讲。

列存向量化

ClickHouse深度剖析（下）

分布式表与ReplicatedMergeTree，物化视图实战，高可用部署，避坑指南。

分布式高可用

Doris深度剖析（上）

从Palo到Doris架构演进，FE/BE角色，Aggregate/Unique/Duplicate模型，Rollup与物化视图。

MPP数据模型

Doris深度剖析（下）

分区分桶策略，Colocation Join，Broker/Routine Load，实时数仓实践。

StarRocks深度剖析

与Doris渊源，CBO优化器，主键模型与更新策略，物化视图，存算分离架构。

CBO存算分离

Apache Druid深度剖析

Overlord/Coordinator/Broker/Historical架构，时间线索引与Segment，实时/批量摄入，时序优势。

Apache Kylin深度剖析

预计算原理，Cube/Cuboid设计，MapReduce/Spark构建引擎，查询下压与HBase/Parquet存储。

Presto/Trino深度剖析

MPP全内存计算，Connector/Catalog设计，查询优化与Join策略，Presto与Trino差异。

联邦内存计算

Apache Spark SQL深度剖析

Catalyst优化器，Tungsten执行引擎，AQE自适应查询，与Hive/Delta Lake/Iceberg集成。

Greenplum深度剖析

MPP Master/Segment节点，Hash/Random分布策略，查询优化，PostgreSQL生态兼容。

Apache Hive深度剖析

从MapReduce到Tez/Spark演进，ACID事务，LLAP，与HDFS深度绑定。

Elasticsearch深度剖析

倒排索引与全文搜索，分片副本机制，聚合分析，ELK日志分析场景。

性能对比基准测试方法论

TPC-H/TPC-DS标准，数据集规模，QPS/RT/并发指标，DBeaver与自研脚本工具。

查询性能对比（单表聚合）

COUNT/GROUP BY/ORDER BY/LIMIT场景，数据倾斜对性能影响。

查询性能对比（多表Join）

Hash Join/Broadcast/Colocate Join表现，Join顺序优化。

查询性能对比（复杂分析）

窗口函数、子查询、CTE场景，SQL兼容性差异。

写入性能对比

Kafka实时写入，HDFS/本地批量写入，更新删除性能，写入对查询影响。

并发能力与资源隔离对比

高并发QPS，Workload/Resource Group，查询排队与熔断。

数据新鲜度与实时性对比

T+1离线，分钟准实时，秒级实时，Lambda/Kappa架构适配。

存储成本与压缩比对比

LZ4/ZSTD压缩算法，冷热分层，存算分离存储成本分析。

运维复杂度对比

物理机/K8s部署，扩缩容，Prometheus/Grafana监控，升级回滚。

生态集成对比

Hadoop/YARN，Kafka/Pulsar，Iceberg/Hudi/Delta Lake，Superset/Grafana/Tableau。

选型决策矩阵（上）

数据规模百GB~PB，查询模式固定报表/Ad-hoc/大屏，并发低中高维度。

选型决策矩阵（下）

团队技术栈Java/Scala/Python，运维DBA/DevOps，成本开源/商业/云原生。

典型场景选型案例（一）

用户行为分析：埋点、漏斗、留存，引擎选型与架构设计。

行为分析漏斗

典型场景选型案例（二）

BI报表与Ad-hoc分析：多表Join、复杂SQL、高并发架构。

典型场景选型案例（三）

实时监控与告警：时序数据、高吞吐写入、低延迟查询。

典型场景选型案例（四）

日志分析与全文检索：非结构化、模糊搜索、聚合分析。

日志全文检索

课程总结与未来趋势

存算分离/Serverless/湖仓一体，选型演进，学习路径与资源推荐。