4. 存储策略目标：成本控制、查询性能、数据完整性、长期保留与合规要求

在日志工程中，Golden Signals 指标（延迟、流量、错误、饱和度）的存储策略并非简单的“存下来就行”。一个优秀的存储策略必须在成本、性能、可靠性与合规四个维度上取得平衡。任何单一维度的过度优化，都会在其他维度引发系统性风险。

4.1 四维目标拆解与冲突矩阵

四个目标之间存在天然的制约关系。例如，为了降低存储成本而采用高压缩比算法，会牺牲查询性能；为了满足长期合规保留而全量存储，会导致成本失控。下表展示了各目标之间的典型冲突与协同关系：

4.2 成本控制：分层存储与压缩策略

成本控制的核心在于数据分层与自适应压缩。Golden Signals 指标的热度随时间衰减极快——最近 1 小时的数据贡献了 80% 的查询，而 30 天前的数据查询频率不足 1%。

• 热层（Hot Tier）： 使用 NVMe SSD + 低压缩比（如 LZ4），保证实时写入与最近 1h 的毫秒级查询。
• 温层（Warm Tier）： 使用 SATA SSD + 中等压缩比（如 Zstd），保留 7~30 天数据，支持秒级聚合查询。
• 冷层（Cold Tier）： 使用 HDD/对象存储 + 高压缩比（如 Zstd max），保留 1 年以上数据，仅支持低频回溯分析。
• 冻结层（Frozen Tier）： 使用廉价对象存储（如 S3 Glacier），仅保留原始日志用于合规审计，不可在线查询。

4.3 查询性能：索引优化与预聚合

查询性能的瓶颈通常不在存储介质本身，而在索引结构与数据布局。对于 Golden Signals 指标，推荐采用以下优化组合：

1. 时间分区 + 标签索引： 按时间范围分区（如每小时一个分区），对 service、endpoint、status_code 等高频查询标签建立倒排索引。
2. 预聚合 Rollup： 在写入时同步计算 1m/5m/1h 的 P50/P90/P99/avg/max 聚合值，存储为独立时间序列，查询时直接读取聚合结果。
3. 列式存储： 使用 Parquet 或 ORC 格式，仅读取查询涉及的列，避免全行扫描。
4. 缓存层： 在热层之上叠加 Redis/Memcached 缓存，对最近 1h 的常见查询实现毫秒级响应。

4.4 数据完整性：校验与修复机制

数据完整性是存储策略的底线。Golden Signals 指标一旦损坏，将直接导致错误告警或漏报。完整性保障需要覆盖写入、存储、读取三个阶段：

4.5 长期保留与合规要求

合规要求通常由外部审计驱动（如 SOC2、PCI-DSS、GDPR）。对于 Golden Signals 指标，常见要求包括：

• 保留期限： 至少 1 年，金融行业通常要求 3~7 年。
• 不可变性： 在保留期内，日志不可被修改或删除（WORM 策略）。
• 审计链： 所有对存储数据的访问、修改、删除操作必须记录审计日志。
• 地理冗余： 数据必须跨可用区或跨地域存储，防止单点故障导致合规数据丢失。

4.6 综合策略决策矩阵

在实际项目中，SRE 团队需要根据业务场景选择不同的策略组合。以下矩阵给出了三种典型场景的推荐配置：