VIP20

本课程属于：009-实时OLAP分析 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Druid实时摄入与查询调优实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Druid初探：实时OLAP引擎的定位与核心特性

Druid vs ClickHouse vs Elasticsearch 选型对比，理解列式存储、实时摄入与亚秒级查询的设计哲学。

架构总览：实时摄入与查询链路深度解析

Overlord、MiddleManager、Peon 摄入链路；Broker、Router、Historical 查询链路，全流程组件协作。

数据模型设计：时间戳、维度、指标与Roll-up

维度列与指标列选择策略，Roll-up 预聚合核心原理，如何通过粒度设计降低存储与提升查询性能。

建模预聚合

实时摄入配置：Tranquility与Kafka Indexing Service

Spec 文件编写、任务提交、Kafka 索引服务配置详解，从零搭建实时摄入管道。

窗口期与分区：Segment粒度、windowPeriod与ShardSpec

Segment 粒度与窗口期对实时性影响，分区策略（ShardSpec）如何影响数据分布与查询效率。

摄入调优实战：批量、持久化与内存参数优化

解决摄入延迟与 OOM 问题，调整批量大小、中间持久化频率、内存限制等核心参数。

查询基础：原生JSON与Druid SQL语法差异

Timeseries、TopN、GroupBy 查询类型选择，JSON 与 SQL 两种接口的适用场景与转换技巧。

查询性能瓶颈：慢查询原因深度分析

数据倾斜、过滤条件缺失、聚合算子低效等常见瓶颈，通过 Profile 定位问题根源。

查询调优策略：Segment剪枝、Filter与近似计算

Segment Pruning、Filter 下推优化，HyperLogLog、ThetaSketch 近似聚合选择。

索引与缓存：Bitmap、倒排索引与LRU策略

Bitmap 索引与倒排索引原理，Broker/Historical 层 LRU、TTL 缓存配置与命中率提升。

集群部署与资源规划：节点角色与JVM配置

Master、Query、Data 节点划分，堆外内存与 JVM 参数建议，生产级硬件选型。

监控与告警：集成Prometheus + Grafana

摄入延迟、查询延迟、Segment 命中率等关键指标监控，告警规则与仪表盘设计。

数据一致性保障：Exactly-Once与数据修复

Exactly-Once 语义实现机制，Reindex 回填与数据修复策略，确保端到端一致性。

一致性修复

高级特性：嵌套列、表达式与虚拟列

Nested Columns 复杂结构处理，Expression 与 Virtual Columns 动态计算场景。

嵌套表达式

实战案例一：电商实时大屏秒级聚合

从 Kafka 接入订单数据，实现秒级聚合与 TopN 查询，构建高并发实时大屏。

实战案例二：用户行为留存与漏斗分析

基于 Druid 实现留存分析、漏斗分析，覆盖用户行为事件建模与查询优化。

用户行为漏斗

实战案例三：百万级时间线监控系统

结合 Prometheus 与 Druid，构建百万级时间线监控，处理高基数时序指标。

Druid与流计算框架集成：Flink实时写入

Flink + Druid 端到端实时写入实践，保证低延迟与高吞吐的集成方案。

Druid与数据湖集成：Hive/Iceberg混合架构

批量导入与实时摄入混合架构，基于 Hive/Iceberg 的数据湖集成策略。

数据湖Iceberg

安全与权限：Kerberos、HTTP Basic与RBAC

Kerberos 认证、HTTP Basic Auth 与 RBAC 权限模型配置，保障集群安全。

多租户与资源隔离：Tier与优先级

通过 Tier 与优先级实现查询与摄入的资源隔离，满足多租户场景。

多租户隔离

Segment管理与优化：Compaction与生命周期

Segment 合并（Compaction）、降维（Reindex）与生命周期管理，提升查询稳定性。

SegmentCompaction

冷热数据分层：S3/HDFS历史数据迁移

将历史数据迁移到 S3/HDFS 降低存储成本，冷热分层查询透明访问。

Druid SQL扩展：自定义UDAF与UDF开发

开发自定义聚合函数（UDAF）与标量函数（UDF），扩展 Druid SQL 能力。

查询路由与负载均衡：Broker与Historical策略

Broker 查询路由策略、Historical 负载均衡机制，避免热点与倾斜。

路由负载均衡

故障排查指南：常见错误码与排查步骤

400、500、503 等错误码含义，系统日志与指标结合排查集群故障。

版本升级与迁移：跨版本注意事项与工具

跨版本升级兼容性、数据迁移工具（Druid Migrator）使用，平滑过渡方案。

性能基准测试：YCSB压测与评估

使用 Benchmark 工具（YCSB）对 Druid 集群进行压测，分析吞吐与延迟指标。

Druid生态工具：Console、SQL CLI与Web Console

Druid Console、SQL CLI、Web Console 使用技巧，提升日常运维效率。

未来趋势与总结：实时数仓与Lakehouse融合

Druid 在实时数仓中的定位，与 Lakehouse 架构的融合展望，总结课程核心知识。