VIP20

本课程属于：043-OLAP分析引擎 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

ClickHouse与StarRocks压测及调优

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

OLAP系统概述

OLAP定义、OLAP与OLTP的区别、常见OLAP引擎（ClickHouse、Doris、StarRocks）介绍。

性能压测基础

压测目标定义、关键性能指标（QPS、TPS、P99延迟、吞吐量）、压测环境搭建。

压测工具选型

Apache JMeter、sysbench、ClickHouse Benchmark、自研压测脚本的优劣对比。

压测场景设计

单表查询压测、多表Join压测、聚合查询压测、写入压测、混合负载压测。

数据模型与压测数据准备

星型模型、雪花模型、宽表模型；使用Python生成千万级测试数据。

压测执行与监控

压测执行流程、系统资源监控（CPU、内存、IO、网络）、慢查询日志分析。

压测结果分析

吞吐量曲线解读、延迟分布分析、瓶颈定位方法论。

OLAP系统架构优化

存储层优化（列存、压缩算法选择）、计算层优化（向量化执行、并行度调优）。

SQL查询优化（上）

谓词下推、分区裁剪、物化视图、预聚合。

SQL查询优化（下）

Join算法选择（Hash Join、Merge Join）、数据倾斜处理、子查询优化。

主键索引、二级索引、跳数索引、布隆过滤器在OLAP中的应用。

数据分布策略

分区策略（时间分区、范围分区）、分桶策略（Hash分桶、随机分桶）、数据重分布。

内存管理优化

Buffer Pool调优、查询内存限制、内存溢出处理。

磁盘I/O优化

SSD vs HDD、RAID策略、异步I/O、预读机制。

万兆网络配置、连接池调优、数据压缩传输、RPC框架选择。

并发控制与锁优化

MVCC机制、乐观锁与悲观锁、死锁检测与处理。

数据导入性能优化

批量导入、并行导入、数据去重策略、导入限流。

实时写入优化

LSM-Tree原理、写入缓冲区调优、实时写入与查询隔离。

资源隔离与多租户

资源组管理、查询队列、CPU/内存/IO资源隔离。

隔离多租户

缓存策略优化

查询缓存、元数据缓存、结果缓存、分布式缓存（Redis）集成。

分布式OLAP集群调优

节点扩展、副本管理、负载均衡、故障转移。

集群高可用

查询调度与执行计划优化

CBO（基于成本的优化）、RBO（基于规则的优化）、执行计划可视化。

优化器计划

数据一致性保障

最终一致性、强一致性、分布式事务（2PC、TCC）在OLAP中的实践。

一致性事务

监控告警体系搭建

Prometheus + Grafana监控、自定义告警规则、Dashboard设计。

压测自动化与CI/CD集成

自动化压测脚本编写、Jenkins Pipeline集成、性能回归测试。

性能调优案例分析（一）

慢查询诊断全流程——从发现到解决的真实案例。

性能调优案例分析（二）

高并发写入导致查询延迟飙升的排查与修复。

性能调优案例分析（三）

数据倾斜导致集群节点负载不均的优化方案。

OLAP系统容量规划

容量评估模型、扩容策略、成本优化。

课程总结与最佳实践

OLAP性能优化Checklist、常见误区、持续优化方法论。

总结最佳实践