VIP20
本课程属于：035-Flink状态管理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

RocksDB状态后端深度调优

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
RocksDB前世今生
从LevelDB到RocksDB的演进，RocksDB在Flink生态中的核心地位。
演进生态
02
核心架构解剖
LSM-Tree原理、MemTable、SST文件、WAL日志的协同工作机制。
LSM-TreeWAL
03
读写放大之谜
写放大、读放大、空间放大的权衡艺术，以及如何影响Flink作业性能。
放大性能
04
内存参数调优
Block Cache、Write Buffer Manager、MemTable大小与数量的最佳实践。
内存缓存
05
Compaction策略深度解析
Leveled Compaction、Universal Compaction、FIFO Compaction的选型与配置。
Compaction策略
06
并行Compaction与SubCompaction
如何利用多核CPU加速Compaction，避免写停顿。
并行CPU
07
Bloom过滤器
原理、配置、以及如何用Prefix Bloom Filter优化范围查询。
Bloom查询
08
缓存策略
Row Cache与Block Cache的区别，以及如何避免缓存污染。
缓存污染
09
写路径优化
WAL的同步/异步模式、Write Batch、以及如何减少写锁竞争。
WAL锁
10
读路径优化
Point Lookup、Range Scan的性能差异，以及如何利用Iterator优化。
读取Iterator
11
Flink状态后端集成
RocksDBStateBackend的初始化流程、状态序列化与反序列化。
Flink序列化
12
增量Checkpoint机制
原理、配置、以及如何避免Checkpoint超时。
Checkpoint增量
13
全量快照与恢复
Snapshot的生成过程、SST文件硬链接、以及恢复时的性能考量。
快照恢复
14
状态访问模式分析
ValueState、ListState、MapState在RocksDB底层的存储差异。
状态存储
15
TTL状态清理
过期数据的自动清理机制，以及如何避免TTL带来的性能抖动。
TTL清理
16
监控与指标
RocksDB原生指标、Flink暴露的RocksDB指标、以及如何接入Prometheus。
监控Prometheus
17
性能瓶颈定位
通过RocksDB的statistics、perf_context、ioprofile定位慢查询。
性能诊断
18
磁盘I/O调优
选择合适的存储介质、文件系统、以及Direct I/O的使用场景。
I/O磁盘
19
RocksDB配置热更新
通过RocksDB的Options对象动态调整参数，无需重启作业。
热更新动态
20
大状态作业优化
State Backend分区、Key Group设计、以及如何避免状态倾斜。
大状态倾斜
21
RocksDB与RocksDB的对比
RocksDB vs MapDB vs Heap State Backend的选型指南。
对比选型
22
RocksDB的线程模型
后台线程池、High Priority线程、Low Priority线程的配置。
线程优先级
23
RocksDB的日志与调试
LOG文件、MANIFEST文件、以及如何通过ldb工具诊断问题。
日志调试
24
RocksDB的压缩算法
Snappy、Zlib、LZ4、ZSTD的压缩比与速度权衡。
压缩算法
25
RocksDB的合并操作
Merge Operator的原理、以及如何自定义合并逻辑。
合并Operator
26
RocksDB的事务支持
Optimistic Transaction与Pessimistic Transaction在Flink中的应用。
事务Flink
27
RocksDB的备份与恢复
BackupEngine的使用、以及增量备份策略。
备份恢复
28
RocksDB的列族（Column Family）
如何利用列族隔离不同状态，提升读写性能。
列族隔离
29
RocksDB的限速器（Rate Limiter）
如何控制Compaction和Flush的I/O带宽。
限速I/O
30
RocksDB的未来
RocksDB 8.x新特性、以及Flink社区对RocksDB的改进计划。
未来新特性