1. 课程导论：Golden Signals 在 ELK 中的映射与存储成本优化必要性
1.1 什么是 Golden Signals？
Golden Signals 是 Google SRE 实践提出的四个核心监控指标，用于衡量用户可见的服务健康状态。在 ELK 日志检索场景中，这四个信号需要从日志数据中提取并映射为可观测的度量。
| Golden Signal | 定义 | ELK 映射示例 |
|---|---|---|
| 延迟 (Latency) | 请求处理耗时，区分成功与失败请求 | HTTP 响应时间、ES 查询耗时、应用 P99 日志时间戳差 |
| 流量 (Traffic) | 系统请求量或吞吐量 | QPS、TPS、日志条数/秒、ES 索引写入速率 |
| 错误 (Errors) | 显式或隐式失败请求 | HTTP 5xx、4xx 状态码、异常堆栈日志、ES 查询错误 |
| 饱和度 (Saturation) | 资源使用程度，通常有瓶颈阈值 | ES 节点 CPU/磁盘/堆内存使用率、GC 暂停时间、队列积压 |
关键认知： 日志本身是原始事件流，Golden Signals 是通过对日志字段进行聚合、计算、阈值判定后产生的派生指标。ELK 存储成本优化的核心对象正是这些派生指标及其原始日志。
1.2 Golden Signals 在 ELK 中的映射关系
下图展示了从原始日志到 Golden Signals 指标的完整映射链路，以及存储成本产生的关键节点。
1.3 为什么需要单独优化存储成本？
ELK 集群的存储成本并非线性增长，而是随着日志量、索引数、副本数、保留周期呈指数级膨胀。以下是必须单独优化存储成本的四个核心原因：
- 日志量爆炸式增长： 微服务架构下，单日日志量可达 TB 级，全量保留 30 天即产生数十 TB 存储需求。
- Golden Signals 派生指标冗余： 同一份原始日志可能被多个聚合任务重复读取、计算、存储，产生大量中间结果。
- ES 索引与分片开销： 每个索引的副本、分片、段合并均消耗磁盘 I/O 和存储空间，低效映射加剧成本。
- 冷热数据管理缺失： 超过 80% 的日志在写入 7 天后几乎不再被查询，但默认策略仍以热节点存储，造成资源浪费。
常见误区： 很多团队只关注 ES 节点数量或磁盘大小，却忽略了 字段冗余、聚合精度、索引生命周期策略 这三个隐藏成本黑洞。本课程将逐一拆解并提供可落地的优化方案。
1.4 存储成本优化的三个维度
本课程将围绕以下三个维度展开实战优化，每个维度均包含 Golden Signals 指标的针对性策略：
| 优化维度 | 核心手段 | 影响 Golden Signals |
|---|---|---|
| 数据生命周期 | ILM 冷热分层、索引滚动、过期删除 | 饱和度（磁盘使用率）、延迟（查询性能） |
| 字段与映射 | 禁用不需要的字段、使用 keyword 替代 text、扁平化嵌套 | 流量（索引写入速率）、错误（映射冲突） |
| 聚合与采样 | 预聚合、降采样、保留原始日志摘要而非全量 | 延迟（聚合查询速度）、饱和度（CPU/内存） |
课程收益预告： 完成本课程后，你将能够在不丢失 Golden Signals 可观测能力的前提下，将 ELK 存储成本降低 40%~70%，同时提升查询性能 2~5 倍。