3. 数据压缩基础理论：无损压缩与有损压缩
在日志工程中，压缩是降低存储成本、提升传输效率的核心手段。根据数据还原的精确度，压缩技术分为无损压缩与有损压缩两大类。理解两者的原理、性能差异及适用场景，是设计存储优化策略的前提。
3.1 无损压缩：保证数据完整还原
无损压缩通过消除数据中的统计冗余，确保解压后的数据与原始数据完全一致。日志场景中，对于需要精确回溯、审计或二次分析的原始日志，必须采用无损压缩。
3.1.1 核心算法对比
| 算法 | 压缩比（典型值） | 压缩速度 | 解压速度 | 内存占用 | 适用场景 |
|---|---|---|---|---|---|
| LZ4 | 1.5x – 2.5x | 极快（~500 MB/s） | 极快（~1.5 GB/s） | 低 | 实时传输、热数据缓存、Kafka 消息压缩 |
| Snappy | 1.5x – 2.8x | 快（~250 MB/s） | 快（~500 MB/s） | 低 | 通用日志管道、大数据生态（Hadoop/Spark） |
| Zstd | 2.5x – 5.0x | 中等（~100 MB/s） | 快（~500 MB/s） | 中 | 冷数据归档、长期存储、压缩比优先场景 |
选型建议： 对于高频写入的日志采集端，优先使用 LZ4 或 Snappy 以降低 CPU 开销；对于存储成本敏感的归档层，使用 Zstd 级别 3-6 可获得最佳性价比。
3.1.2 算法原理简述
- LZ4：基于 LZ77 算法，使用哈希表快速查找重复字符串，采用“令牌+字面量”编码，牺牲少量压缩比换取极致速度。
- Snappy：Google 开发，不追求最大压缩比，目标是在合理压缩率下达到 250 MB/s 以上的压缩速度，内部使用 LZ77 变体 + 熵编码。
- Zstd：Facebook 开发，支持多级压缩级别（1-22），结合有限状态熵编码（FSE）和重复模式匹配，在较高压缩级别下可接近 LZMA 的压缩率。
3.2 有损压缩：以精度换空间
有损压缩通过丢弃非关键信息或降低数据精度，大幅减少数据量。在日志工程中，主要用于监控指标和趋势分析场景，原始细节可被聚合统计值替代。
3.2.1 降采样（Downsampling）
降采样通过降低时间分辨率来减少数据点数量。例如，将 1 秒粒度的指标聚合为 1 分钟粒度。
- 方法：最大值、最小值、平均值、分位数（P50/P95/P99）、计数。
- 典型工具：Prometheus 的 recording rules、M3DB 的 downsampler、TimescaleDB 的 continuous aggregates。
- 压缩效果：数据点数量减少 60x（秒级→分钟级），存储空间减少 80%-95%。
3.2.2 聚合（Aggregation）
聚合将多条日志或指标合并为一条统计摘要，丢弃原始明细。
- 方法：按维度（如服务名、状态码、机房）分组，计算 sum、count、avg、histogram。
- 典型工具：ClickHouse 的 AggregatingMergeTree、Druid 的 rollup、Elasticsearch 的 rollup job。
- 压缩效果：数据量减少 10x – 1000x，取决于聚合粒度。
风险提示： 有损压缩不可逆。一旦执行降采样或聚合，原始数据将永久丢失。建议对原始日志保留至少 7-30 天的无损副本，再对有损数据进行长期存储。
3.3 无损 vs 有损：适用场景决策
3.4 混合压缩策略：分层存储的最佳实践
生产环境中，通常采用分层压缩策略，兼顾实时查询性能与长期存储成本。
- 热层（1-7天）：原始日志 + LZ4 压缩，保留完整细节，支持快速检索。
- 温层（7-30天）：原始日志 + Zstd 压缩，降低存储成本，仍可解压回溯。
- 冷层（30天+）：降采样/聚合数据 + Zstd 高压缩级别，仅保留统计摘要。
案例： 某电商平台日志系统，热层使用 LZ4 压缩比 2.1x，温层使用 Zstd 级别 6 压缩比 4.5x，冷层使用 1 分钟降采样 + Zstd 级别 12 压缩比 12x。整体存储成本降低 78%，查询 P99 延迟保持在 200ms 以内。
3.5 压缩性能基准参考
| 算法 | 压缩级别 | 压缩比 | 压缩速度 (MB/s) | 解压速度 (MB/s) | CPU 使用率 |
|---|---|---|---|---|---|
| LZ4 | 默认 | 2.0x | 520 | 1,450 | 低 |
| Snappy | 默认 | 2.2x | 260 | 510 | 低 |
| Zstd | 3 | 3.8x | 110 | 480 | 中 |
| Zstd | 6 | 4.5x | 65 | 470 | 中高 |
| Zstd | 12 | 5.2x | 30 | 460 | 高 |
* 测试数据基于 1GB 文本日志，单线程，Intel Xeon 3.0GHz。实际性能受数据特征、硬件配置影响。
3.6 总结
- 无损压缩（LZ4/Snappy/Zstd）保证数据完整，适用于热数据、审计、排障场景。
- 有损压缩（降采样/聚合）大幅降低存储，适用于趋势分析、监控仪表盘、长期归档。
- 混合策略是生产环境的最佳选择：热层用 LZ4 保性能，温层用 Zstd 降成本，冷层用有损压缩极致缩减。
- 选型时需平衡压缩比、速度、CPU 开销三个维度，结合日志特征和业务 SLA 做决策。