VIP20
本课程属于：034-日志Golden Signals指标 DevOps、SRE 与可观测性工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

日志工程Golden Signals指标冷热分离架构设计

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
Golden Signals概念起源 · 四大黄金信号（延迟 · 流量
课程导论Golden
02
日志工程基础
日志分类（业务日志 · 系统日志 · 审计日志）
日志工程基础日志分类
03
Golden Signals指标定义
延迟指标（P50/P95/P99） · 流量指标（QPS/TPS） · 错误率指标
GoldenSignals
04
冷热分离架构原理
热数据（近期/高频访问）与冷数据（历… · 存储介质选择（SSD vs HDD…
冷热分离架构原理热数据
05
数据生命周期管理
日志TTL策略 · 数据迁移策略（热转冷） · 数据归档与清理机制
数据生命周期管理TTL
06
热存储层设计
高性能写入引擎（如Kafka/Cli… · 内存索引结构 · 实时聚合能力
热存储层设计Kafka/Cli
07
冷存储层设计
低成本对象存储（如S3/MinIO） · 列式存储格式（Parquet/ORC… · 压缩算法选择
冷存储层设计S3/MinIO
08
数据路由层设计
写入路由（根据时间/标签分流） · 查询路由（自动判断冷热数据源）
数据路由层设计写入路由
09
写入链路架构
Agent采集 -> 缓冲队列 ->…
写入链路架构Agent
10
查询链路架构
用户查询 -> 路由层 -> 并行查…
查询链路架构用户查询
11
延迟指标采集与存储
请求耗时埋点 · 直方图数据结构 · 分位数计算（TDigest/HLL）
延迟指标采集存储
12
流量指标采集与存储
计数器与速率计算 · 滑动窗口算法 · 分布式累加器
流量指标采集存储
13
错误率指标采集与存储
错误码分类 · 异常堆栈聚合 · 错误率时间序列
错误率指标采集存储
14
饱和度指标采集与存储
系统资源指标采集（Prometheu… · 容器化指标（cAdvisor） · 饱和度阈值设定
度指标采集存储
15
冷热数据一致性保障
双写策略 · 校验机制 · 补偿任务
冷热数据一致性保…双写策略
16
数据压缩与编码
热数据轻压缩（LZ4/Snappy） · 冷数据重压缩（Zstd/Gzip） · 列式编码（RLE/Dictionar…
数据压缩编码
17
索引设计
热数据倒排索引 · 冷数据分区索引（时间+标签） · 布隆过滤器加速查询
索引设计热数据倒排索引
18
查询优化策略
下推谓词 · 预聚合 · 物化视图
查询优化策略下推谓词
19
容量规划与扩缩容
热存储容量预估 · 冷存储成本模型 · 自动扩缩容策略（K8s HPA）
容量规划扩缩容
20
监控与告警
Golden Signals自身监控… · 查询延迟 · 存储水位）
监控告警
21
故障演练与恢复
冷存储数据丢失恢复 · 热存储节点宕机切换 · 数据一致性校验
故障演练恢复
22
多租户隔离
租户级资源配额 · 数据隔离策略 · 查询优先级调度
多租户隔离租户级资源配额
23
成本优化
冷数据降频访问 · 生命周期策略自动化 · 存储分层（标准/低频/归档）
成本优化冷数据降频访问
24
安全与合规
数据加密（传输/存储） · 访问控制（RBAC） · 审计日志
安全合规
25
实战案例一
电商大促日志系统Golden Sig…
实战案例一Golden
26
实战案例二
金融交易系统延迟指标冷热分离架构设计
实战案例二金融交易系统延迟…
27
实战案例三
IoT设备海量日志流量指标冷热分离方…
实战案例三IoT
28
性能基准测试
写入吞吐量对比 · 查询延迟对比 · 存储成本对比（热vs冷）
性能基准测试写入吞吐量对比
29
选型指南
开源方案（ELK+对象存储 · ClickHouse+S3 · Loki+MinIO）对比与选型
选型指南ELK+
30
课程总结与未来展望
Serverless日志 · AI驱动的冷热预测 · 统一可观测性趋势
课程总结未来展望