VIP20

本课程属于：034-日志Golden Signals指标 DevOps、SRE 与可观测性工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

日志工程Golden Signals指标数据压缩与存储优化

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Golden Signals概述

定义四大黄金信号（延迟 · 流量 · 错误

指标数据特性分析

分析时序指标的高基数 · 高写入 · 低价值密度的特点

指标数据特性分析分析时序指标的高…

数据压缩基础理论

介绍无损压缩（LZ4 · Snappy · Zstd）与有损压缩（降采样

数据压缩基础理论LZ4

时序数据库选型对比

对比Prometheus · VictoriaMetrics · Thanos

时序数据库选型对…Prometheus

Prometheus存储引擎详解

深入TSDB的Block结构 · 倒排索引 · 内存映射与WAL机制

Prometheus存储引擎详解

VictoriaMetrics存储优化

讲解其‘按时间分片’ · ‘稀疏索引’与‘预聚合’的独特压缩策…

VictoriaMetr…存储优化

Thanos Sidecar与对象存储

分析Thanos如何利用对象存储（S…

M3DB的分布式存储架构

探讨M3DB的Commitlog · Flush与Compaction流程…

M3DB的分布式存储架构

数据采样策略

设计自适应采样（Adaptive S… · 平衡精度与存储

数据采样策略Adaptive

降采样（Downsampling）技术

实现窗口聚合（Avg/Max/Per…

Downsampling降采样

标签与维度优化

通过减少高基数标签 · 使用枚举标签 · 标签别名来降低索引膨胀

标签维度优化

数据保留策略（Retention）

设计热/温/冷分层存储策略 · 配置TTL与自动删除规则

Retention数据保留策略

压缩算法选型实战

对比Zstd与Snappy在CPU开… · 给出选型建议

压缩算法选型实战Zstd

列式存储与编码

讲解Gorilla压缩 · Delta-of-Delta编码 · XOR编码在时序数据中的应用

列式存储编码

预聚合与物化视图

使用Recording Rules或… · 减少原始存储

预聚合物化视图

数据分片与分区

基于时间范围与标签Hash的分片策略 · 提升写入并行度与压缩效率

数据分片分区

写入路径优化

批量写入 · 异步写入 · 背压控制与缓冲区调优

写入路径优化批量写入

读取路径优化

缓存策略（LRU/LFU） · 索引缓存 · 结果缓存对查询性能与存储压力的影响

读取路径优化LRU/LFU

对象存储集成

将冷数据迁移至S3/GCS/MinI… · 利用对象存储的低成本与生命周期管理

对象存储集成S3/GCS/MinI

本地SSD与HDD混合存储

设计缓存层（SSD）与持久层（HDD…

数据去重与合并

在采集端或存储端实现去重逻辑 · 减少重复指标对存储的浪费

数据去重合并

压缩比监控与告警

建立压缩比 · 存储增长率 · Compaction延迟等关键指标的…

压缩比监控告警

成本模型与容量规划

基于指标基数 · 采集频率 · 保留周期计算存储成本与扩容阈值

成本模型容量规划

多租户隔离与配额

为不同业务线设置存储配额与压缩优先级 · 防止噪声指标挤占资源

多租户隔离配额

数据备份与恢复

快照备份 · 增量备份与跨区域复制策略 · 确保压缩后的数据可恢复

数据备份恢复

性能基准测试

使用Prometheus-bench…

性能基准测试Prometheus-b…

电商大促场景优化：针对流量突增 · 错误率飙升场景的存储压缩与降采样方案

案例电商大促场景优化

物联网设备指标优化 · 通过标签降维与聚合降低存储

案例物联网设备指标优…

微服务调用链指标优化 · 设计采样与压缩策略

案例微服务调用链指标…

未来趋势与总结

AI驱动的自适应压缩 · Serverless存储 · 边缘计算指标压缩展望