VIP10

本课程属于：019-实时OLAP分析平台工程 后端、数据与云原生工程 · 共 10 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Druid核心原理与业务落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是Druid？发展历史与核心特性，实时OLAP领域的定位与优势。

Druid架构总览

六大核心组件：Overlord、Coordinator、Broker、Historical、MiddleManager、IndexingService 职责解析。

数据模型与核心概念

DataSource、时间戳、维度、指标、粒度、Segment 详解。

数据模型Segment

Segment结构、生命周期、不可变性、合并与优化策略。

位图索引、倒排索引原理，以及如何加速查询。

数据摄入原理

实时摄入与批量摄入，Firehose 与 Tranquility 的演进。

Kafka索引服务

基于Kafka的实时数据摄入，Exactly-Once 语义保证。

Kafka精确一次

批量摄入与Hadoop

使用Hadoop批量导入历史数据，IndexTask 与 HadoopIndexTask。

查询类型与原理

Timeseries、TopN、GroupBy、Scan、Search 内部执行流程。

查询执行计划

查询引擎与Broker路由

Broker下推查询到Historical节点，结果合并与路由策略。

存储引擎与Deep Storage

本地存储与云存储(S3/HDFS/GCS)集成，Deep Storage 作用。

元数据管理

元数据存储在MySQL/PostgreSQL，表结构详解。

ZooKeeper在Druid中的作用

服务发现、领导选举、Segment发布与卸载协调。

集群部署模式

单机、微型独立、完全分布式部署（生产推荐）。

部署分布式

资源规划与调优

内存、CPU、JVM、线程池调优实践。

数据分片与分区策略

Segment划分规则，分片数设置与性能最佳实践。

数据聚合与Rollup

预聚合(Rollup)原理，降低存储成本的方法。

数据保留策略与自动清理

规则设置自动删除过期数据，冷热数据分层。

Druid SQL API，SQL转换为原生JSON查询。

Druid与Kafka Connect集成

使用Kafka Connect Sink连接器写入Druid。

Kafka Connect集成

Druid与Flink集成

Flink实时写入，端到端低延迟保证。

Druid与Superset/Grafana集成

可视化工具对接Druid，构建实时大屏。

可视化大屏

权限控制与安全

HTTP Basic、Kerberos、LDAP、数据脱敏。

监控与告警

Prometheus+Grafana监控集群，关键指标解读。

常见问题排查

查询超时、摄入延迟、OOM、Segment加载失败等。

性能优化实战

查询缓存、布隆过滤器、近似计算(HLL/ThetaSketch)。

案例1：实时用户行为分析平台

千万级DAU实时分析系统架构与落地。

案例用户行为

案例2：广告归因与实时计费

精确去重与实时聚合在广告计费中的应用。

案例3：IoT时序数据监控

物联网高基数维度处理与监控方案。

Druid生态与未来展望

30+版本新特性，与ClickHouse、StarRocks对比选型。