VIP20
本课程属于：009-实时OLAP分析 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Pinot架构解析与查询优化

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
Pinot前世今生
从LinkedIn内部孵化到Apache顶级项目，核心设计理念与适用场景。
起源设计理念
第2章
Pinot整体架构
分布式架构全景，Controller、Broker、Server、Minion四大组件职责。
架构组件
第3章
数据模型与表结构
Table、Schema、Segment概念，离线与实时表的设计差异。
数据模型表设计
第4章
数据摄入机制
离线批量导入（Hadoop/Spark）与实时流式摄入（Kafka）双引擎。
摄入Kafka
第5章
Segment存储格式
列式存储、位图索引、Star-Tree索引、倒排索引原理。
存储索引
第6章
索引优化实战
如何选择索引类型，索引对查询性能的影响，索引维护开销。
优化索引
第7章
查询引擎架构
Query Planner、Query Executor、Scatter-Gather模式详解。
查询引擎
第8章
查询路由与分片
Broker如何将查询路由到Server，Segment Pruning机制。
路由分片
第9章
查询执行计划
如何查看和解读Pinot的查询执行计划，常见瓶颈分析。
执行计划调优
第10章
聚合查询优化
Group By、TopN、Distinct Count的优化策略与内存控制。
聚合内存
第11章
过滤查询优化
谓词下推、Bloom Filter、分区裁剪的实际应用。
过滤谓词下推
第12章
Join查询实现
Pinot的Lookup Join与Star-Tree Join原理与限制。
JoinStar-Tree
第13章
实时摄入优化
Kafka消费参数调优、Segment提交策略、内存控制。
实时Kafka
第14章
离线摄入优化
Hadoop作业调优、数据分区策略、Segment合并策略。
离线Hadoop
第15章
数据压缩与编码
Dictionary Encoding、Run-Length Encoding、Varint编码对比。
压缩编码
第16章
Star-Tree索引深入
预聚合原理、构建配置、查询改写机制。
Star-Tree预聚合
第17章
多阶段查询引擎
V2查询引擎架构，与V1引擎的差异与优势。
V2引擎多阶段
第18章
查询超时与资源隔离
Broker与Server的超时配置，租户隔离策略。
超时隔离
第19章
集群扩缩容实践
如何平滑扩缩容，Rebalance策略与数据迁移。
扩缩容Rebalance
第20章
监控与告警
关键指标（QPS、P99延迟、Segment状态），Prometheus+Grafana集成。
监控告警
第21章
常见问题排查
查询慢、摄入延迟高、OOM等问题的诊断方法论。
排查诊断
第22章
性能基准测试
使用Pinot Perf Benchmark进行压测，结果解读。
压测基准
第23章
SQL兼容性
Pinot SQL与标准SQL的差异，常用函数与UDF开发。
SQLUDF
第24章
多阶段聚合优化
HLL、Theta Sketch、Percentile等近似算法的使用场景。
近似算法Sketch
第25章
数据生命周期管理
Segment的Retention、Refresh、Purge策略。
生命周期Retention
第26章
跨集群复制
Pinot的跨DC复制方案，Controller-led与Segment-led模式。
跨DC复制
第27章
与Druid/ClickHouse对比
架构差异、适用场景、性能对比。
对比Druid
第28章
生产环境最佳实践
集群规划、容量评估、配置模板。
最佳实践生产
第29章
Pinot 2.0新特性
Multi-Stage Engine、Native Vectorized Execution等。
2.0新特性
第30章
综合实战
从零搭建一个实时OLAP平台，涵盖架构设计、数据接入、查询优化全流程。
实战全流程