VIP20

本课程属于：009-实时OLAP分析 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时OLAP系统监控与故障排查

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时OLAP系统全景

什么是实时OLAP、核心应用场景（实时大屏、即席查询、用户画像）、主流技术选型（ClickHouse、Doris、StarRocks）对比。

监控体系设计

监控的黄金指标（延迟、吞吐、错误率、饱和度）、监控分层架构（基础设施层、服务层、业务层）、监控数据采集方式（Agent、Exporter、埋点）。

黄金指标分层

ClickHouse核心监控指标

查询性能指标（查询延迟、QPS、扫描行数）、写入性能指标（写入延迟、写入吞吐、Parts合并）、资源指标（CPU、内存、磁盘IO、网络IO）。

ClickHouse指标

Doris/StarRocks核心监控指标

FE关键指标（查询计划耗时、元数据操作）、BE关键指标（Tablet分布、Compaction压力、数据导入速率）、资源隔离与监控。

Prometheus + Grafana 监控栈搭建

Prometheus架构与配置、Exporter部署（Node Exporter、ClickHouse Exporter）、Grafana仪表盘设计原则与模板。

PrometheusGrafana

告警规则设计

告警分级策略（P0/P1/P2）、基于阈值的告警（CPU > 90%持续5分钟）、基于趋势的告警（查询延迟突增）、告警去重与静默机制。

日志采集与分析

ELK/EFK架构在OLAP场景的应用、慢查询日志采集与分析、系统日志（System Log）与错误日志的关联分析。

分布式追踪原理（Trace/Span）、Jaeger与Zipkin在OLAP查询链路的应用、如何定位慢节点。

链路追踪Jaeger

常见故障类型与根因分析

查询超时（大查询、数据倾斜）、写入失败（Schema变更、磁盘满）、集群脑裂（ZooKeeper问题）、数据不一致。

查询超时故障排查

从用户报障到定位根因的完整流程、分析慢查询日志、使用EXPLAIN分析执行计划、数据倾斜排查（Key分布、Partition设计）。

写入性能瓶颈排查

写入链路拆解（客户端->FE/BE->磁盘）、Part写入过多问题、小文件合并策略、写入限流与背压机制。

数据倾斜问题

表倾斜与节点倾斜的区别、倾斜检测方法（Tablet大小分布、查询热点）、倾斜解决方案（分桶键优化、随机分桶、Rebalance）。

倾斜Rebalance

内存问题排查

内存泄漏（JVM/CH进程）、OOM Killer、查询内存限制设置、Buffer Pool与Page Cache调优。

磁盘使用率监控、IOPS与吞吐量分析、冷热数据分层存储、SSD与HDD混合部署策略。

网络问题排查

网络延迟与丢包检测、集群内部带宽瓶颈、跨机房/跨AZ部署的网络优化、连接池配置。

ZooKeeper/Keeper故障

ZK集群性能监控（延迟、连接数）、Session超时导致节点失联、事务日志过大问题、迁移至Keeper的实践。

元数据问题

FE/BE元数据不一致、元数据恢复与备份、Catalog与Database的DDL操作监控。

数据一致性问题

副本同步延迟、Quorum读写机制、数据校验与修复工具（CHECK TABLE、REPAIR）。

一致性修复

版本升级与回滚

升级前检查清单、灰度升级策略、回滚方案与数据兼容性、常见升级故障案例。

容量规划与扩缩容

容量评估模型（数据量、QPS、存储增长）、水平扩缩容流程、数据重分布策略、缩容时的数据迁移。

容量扩缩容

自动化运维脚本

Python脚本实现集群健康检查、自动巡检报告生成、故障自愈（自动重启、自动迁移Tablet）。

自动化Python

混沌工程在OLAP的实践

故障注入（网络延迟、磁盘故障、进程Kill）、混沌实验设计原则、稳定性验证。

混沌工程稳定性

性能压测与基准测试

压测工具选型（JMeter、Locust、自研）、基准测试场景设计、压测结果分析与瓶颈定位。

SQL优化与监控联动

慢SQL监控与告警、SQL审计日志分析、索引与物化视图优化、查询缓存策略。

实时大屏监控案例

从0到1搭建实时大屏、数据源接入（Kafka -> OLAP）、大屏指标设计、Grafana变量与联动。

即席查询平台监控

查询队列管理、资源组隔离监控、并发控制、查询熔断与降级。

即席查询熔断

用户画像系统监控

标签构建任务监控、宽表构建延迟、数据新鲜度监控、服务SLA保障。

用户画像SLA

多集群管理与联邦查询

多集群统一监控、跨集群数据同步监控、联邦查询性能监控。

多集群联邦查询

监控数据存储与降采样

监控数据本身的存储方案、时序数据库选型（VictoriaMetrics、TDengine）、降采样策略与长期存储。

时序库降采样

SLA与故障复盘

SLA指标定义与计算、故障定级与响应流程、故障复盘报告模板、持续改进的监控文化建设。