3. Golden Signals 数据特征分析：指标数据的时序性、高基数问题、重复数据、聚合需求对存储的影响
Golden Signals 指标数据与业务日志在存储特征上存在本质差异。理解这些差异是设计成本优化策略的前提。本节从时序性、高基数、重复数据和聚合需求四个维度，分析其对 Elasticsearch 存储的实际影响。
3.1 时序性：写入模式与存储倾斜
指标数据天然带有时间戳，写入模式呈现明显的时间序列特征：
- 持续追加：新数据不断写入，旧数据极少更新或删除。
- 冷热分明：近期数据（热数据）被高频查询，历史数据（冷数据）访问频率急剧下降。
- 分片倾斜：若按时间滚动索引，最新索引的分片承担绝大部分写入压力，容易形成写入热点。
存储影响：时序性导致 Elasticsearch 的段合并（Segment Merge）压力集中在最新索引上，同时冷数据索引占用大量磁盘空间却极少被查询，形成存储浪费。
3.2 高基数问题：映射膨胀与存储爆炸
高基数（High Cardinality）是 Golden Signals 指标存储成本的最大杀手。基数指某个字段的唯一取值数量。
| 字段示例 | 基数规模 | 存储影响 |
|---|---|---|
host（主机名） |
数百 ~ 数千 | 中等 |
container_id（容器 ID） |
数万 ~ 数十万 | 严重 |
request_id（请求追踪 ID） |
数百万 ~ 数亿 | 灾难性 |
user_id（用户 ID） |
数十万 ~ 数千万 | 灾难性 |
高基数陷阱：Elasticsearch 的倒排索引（Inverted Index）对高基数字段的压缩效率极低。一个基数 100 万的字段，其索引大小可能是原始数据的 5~10 倍。更严重的是，高基数字段会撑爆 Field Data 缓存，导致 JVM GC 频繁甚至 OOM。
高基数的存储放大效应：
- 索引膨胀：每个唯一值在倒排索引中占用一个词条（Term），词条越多，索引越大。
- Doc Values 膨胀：聚合查询依赖 Doc Values，高基数字段的 Doc Values 几乎无法压缩。
- 缓存压力：Field Data 和查询缓存被大量唯一值污染，命中率急剧下降。
3.3 重复数据：指标采集的冗余问题
指标采集过程中，重复数据是普遍现象，主要来源包括：
- 采集端重试：网络抖动导致同一时间点的指标被重复发送。
- 多采集路径：同一指标被 Prometheus + Telegraf + 自定义 Agent 同时采集。
- 标签冗余：不同指标携带大量相同的标签（如
cluster、region、az），造成存储浪费。 - 时间精度冗余：秒级精度的指标在分钟级聚合场景下，中间数据点完全冗余。
优化思路：在 Logstash 或 Beats 侧引入去重逻辑（基于
timestamp + metric_name + labels_hash 的指纹去重），可在写入前消除 5%~15% 的重复数据。
3.4 聚合需求：预聚合与存储权衡
Golden Signals 的查询模式以聚合为主（如 P99、平均值、最大值），这对存储提出了特殊要求：
| 聚合类型 | 存储需求 | 成本影响 |
|---|---|---|
| 原始数据存储 | 保留所有时间点的原始值 | 最高 |
| 预聚合（Rollup） | 按时间窗口（1m/5m/1h）预计算统计值 | 中等（可降低 60%~80%） |
| 采样存储 | 只保留部分时间点的数据 | 低（但精度损失） |
预聚合策略的存储收益：
- 原始数据：100 GB/天
- 1 分钟预聚合：约 15 GB/天（降低 85%）
- 5 分钟预聚合：约 3 GB/天（降低 97%）
- 1 小时预聚合：约 0.5 GB/天（降低 99.5%）
3.5 四维特征对存储的综合影响矩阵
将上述四个特征对存储的影响进行综合对比：
| 数据特征 | 索引大小影响 | 查询性能影响 | 成本优化空间 | 推荐策略 |
|---|---|---|---|---|
| 时序性 | 中等（冷热分层） | 低（冷数据查询少） | 高 | ILM 冷热迁移 + 压缩 |
| 高基数 | 极高（索引膨胀 5~10x） | 极高（缓存污染） | 极高 | 降基数、标签白名单、Routing |
| 重复数据 | 中等（5%~15% 冗余） | 低 | 中等 | 写入前去重、指纹去重 |
| 聚合需求 | 高（预聚合可降 80%+） | 正向（聚合查询更快） | 极高 | Rollup + 采样 + 降采样 |
核心结论：在 Golden Signals 指标存储成本优化中，高基数问题和聚合需求是投入产出比最高的两个优化方向。解决高基数问题通常能带来 50%~80% 的存储节省，而合理的预聚合策略可进一步降低 60%~90% 的存储成本。时序性和重复数据问题虽然影响相对较小，但优化成本低、见效快，应作为基础优化手段优先实施。