VIP20
本课程属于：034-日志Golden Signals指标 DevOps、SRE 与可观测性工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Golden Signals指标冷热分层与存储迁移

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Golden Signals概述
定义 · 四大黄金信号（延迟 · 流量
GoldenSignals
02
日志工程基础
日志的分类（业务日志 · 系统日志 · 审计日志）
日志工程基础日志的分类
03
指标与日志的关系
Metrics · Logs · Traces三者的关联
指标日志的关系
04
存储策略目标
成本控制 · 查询性能 · 数据完整性
存储策略目标成本控制
05
存储介质选型
SSD · HDD · 对象存储（S3/GCS）
存储介质选型SSD
06
时序数据库选型
Prometheus · VictoriaMetrics · Thanos
时序数据库选型Prometheus
07
日志存储引擎选型
Elasticsearch · Loki · ClickHouse在日志场景下的优…
日志存储引擎选型Elasticsearc…
08
数据模型设计
标签（Label）与字段（Field… · 避免高基数问题
数据模型设计Label
09
索引策略优化
倒排索引 · 布隆过滤器 · 时间分区索引在查询加速中的应用
索引策略优化倒排索引
10
压缩与编码
Snappy · Zstd · Gzip压缩算法对比
压缩编码
11
保留策略（Retention Policy）
基于时间与数据量的保留规则 · 短周期与长周期数据的差异化处理
RetentionPolicy
12
采样策略（Sampling）
动态采样 · 自适应采样 · 头部采样与尾部采样的实现与权衡
Sampling采样策略
13
聚合与降采样（Aggregation & Downsampling）
预聚合 · Rollup · 持续聚合在减少存储量中的作用
AggregationDownsampling
14
数据分片与分区
时间分区 · Hash分区 · Range分区在分布式存储中的设计
数据分片分区
15
副本与高可用
多副本策略 · 跨AZ/Region复制 · Raft/Paxos一致性协议的应用
副本高可用
16
写入路径优化
批量写入 · 异步写入 · 缓冲队列（Kafka/Buffer）…
写入路径优化批量写入
17
查询路径优化
查询路由 · 缓存层（Memcached/Redi… · 并行查询与向量化执行
查询路径优化查询路由
18
成本模型分析
存储成本 · 计算成本 · 网络成本
成本模型分析存储成本
19
案例背景
某电商平台日志量从10TB/天增长到…
案例背景TB
20
现状分析
现有Elasticsearch集群的… · 高磁盘IO · 查询慢
现状分析Elasticsearc…
21
优化方案设计
引入冷热分层 · ClickHouse替代部分ES · Prometheus + Thano…
优化方案设计引入冷热分层
22
冷热分层实施
热数据（SSD + 3天） · 温数据（HDD + 30天） · 冷数据（S3 + 永久）的迁移策略
冷热分层实施SSD
23
ClickHouse迁移细节
日志结构化 · 物化视图 · TTL策略
ClickHouse迁移细节
24
Prometheus + Thanos实施
全局视图 · 长期存储 · 降采样规则
PrometheusThanos
25
采样与聚合落地
对低价值日志实施动态采样 · 对高基数指标实施预聚合
采样聚合落地
26
性能对比结果
优化前后存储量减少60% · 查询P99延迟降低80% · 成本降低45%
性能对比结果优化前后存储量减…
27
运维自动化
基于Operator的自动扩缩容 · 自愈 · 备份恢复
运维自动化Operator
28
监控与告警体系
对存储系统本身的监控（磁盘 · 内存 · 查询延迟
监控告警体系
29
未来演进方向
eBPF增强采集 · AI驱动的异常检测 · Serverless存储架构
未来演进方向eBPF
30
总结与最佳实践
Golden Signals存储优化… · 常见陷阱 · 推荐工具链
最佳实践Golden