VIP20

本课程属于：020-实时指标平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时指标聚合延迟调优

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时指标聚合概述

什么是实时指标聚合、业务场景与挑战、延迟敏感度分级。

核心延迟指标

P50/P99/P999延迟、平均延迟、窗口延迟、端到端延迟。

度量分位数

数据采集层优化

埋点设计原则、SDK异步化、批量发送与背压机制。

消息队列选型

Kafka vs Pulsar vs Redis Streams、分区数与吞吐量、ACK机制对延迟的影响。

序列化与反序列化

Protobuf vs Avro vs JSON、Schema Registry、零拷贝技术。

序列化零拷贝

窗口计算模型

Tumbling Window、Sliding Window、Session Window、Cumulative Window。

状态管理优化

RocksDB调优、State Backend选择、增量Checkpoint。

时间语义与水位线

Event Time vs Processing Time、Watermark生成策略、迟到数据处理。

时间Watermark

算子链与任务调度

Operator Chain原理、Task Slot配置、网络缓冲区调优。

内存管理与GC调优

堆外内存、DirectBuffer、G1GC参数、避免Full GC。

数据倾斜处理

KeyBy倾斜、预聚合、Salting技术、动态重分区。

背压机制与反压

背压传播原理、反压监控、自动缩放策略。

缓存策略优化

本地缓存 vs 分布式缓存、LRU/LFU、缓存预热与失效。

数据库写入优化

批量写入、异步写入、连接池调优、写入冲突处理。

写入连接池

查询层加速

预聚合表、物化视图、近似查询（HyperLogLog、Count-Min Sketch）。

资源调度与弹性

Kubernetes动态扩缩容、TaskManager内存与CPU分配。

Netty调优、Epoll vs Kqueue、TCP参数调整。

文件系统与存储

HDFS小文件问题、列式存储（Parquet/ORC）、压缩算法选择。

监控与可观测性

Metrics体系、分布式追踪（Jaeger/Zipkin）、日志聚合。

压测方法论

延迟基准测试、负载模型设计、混沌工程。

Flink调优实战

Checkpoint频率、并行度设置、Buffer Timeout。

Spark Structured Streaming调优

微批大小、状态后端、背压配置。

Kafka Streams调优

线程模型、缓存大小、提交间隔。

Druid实时摄入调优

TuningConfig、Segment切分、Rollup策略。

ClickHouse实时写入调优

分区键设计、MergeTree引擎、异步插入。

ClickHouse写入

Prometheus与Grafana监控

指标采集频率、Recording Rules、告警规则。

PrometheusGrafana

全链路延迟分析

Trace采样、Span关联、瓶颈定位方法论。

延迟SLA保障

多级降级、熔断机制、重试策略与退避。

成本与延迟权衡

资源超卖、Spot实例、冷热数据分离。

某电商实时大屏延迟从5s降到200ms的完整过程。