📚 课程目录第4章日志采集策略

第4章日志采集策略：关键字段、采样率与存储周期

缓存污染问题的排查，本质上是一场对「数据足迹」的逆向追踪。如果日志采集策略设计不当，就会在第一步丢失关键线索，导致后续原因定位无从下手。本章从排查实战出发，定义日志采集的四大核心要素：关键字段、采样率、全量 / 采样场景、存储周期，并给出可直接落地的判断规则与配置模板。

排查铁律：缓存污染日志采集不是“有什么记什么”，而是“排查需要什么就记什么”。多记浪费存储、拖慢性能；少记导致线索断裂。每一条字段的取舍都应基于后续原因定位的可回溯需求。

4.1 关键日志字段：污染排查的必备维度

以下 9 个字段是缓存污染排查的“最低必要集”。缺失其中任意一个，都可能导致某个排查分支彻底中断。

字段	类型	说明	排查用途
`cache_key`	string	被操作的缓存键	锁定污染数据范围，关联上下游调用链
`operation`	enum	GET / SET / DELETE / EVICT	判断污染是写入错误、淘汰异常还是删除丢失
`timestamp`	int64	操作发生时刻（毫秒精度）	建立时序关系，定位污染“第一现场”
`data_version`	int64	数据版本号或序列号	识别旧数据回刷、乱序写入等典型污染模式
`ttl_remaining`	int32	操作发生时 key 的剩余有效期	判断是否因 TTL 异常导致数据残留或提前过期
`hit`	bool	本次操作是否命中	区分“读脏”是来自缓存还是回源
`cost_ms`	int32	操作耗时	异常耗时往往伴随锁竞争或数据倾斜
`node_id`	string	缓存节点 / 分片标识	圈定故障域，区分单节点污染与全局污染
`client_ip`	string	客户端来源 IP	追溯异常写入方，识别攻击或配置错误的客户端

  字段缺失故障树（排查自检）：
  缓存污染未检出
      缺少 cache_key → 无法关联具体数据，污染范围不可知
缺少 timestamp → 无法判断时序，新旧数据混叠不可分辨
缺少 operation → 无法区分读写，SET 污染与 EVICT 遗漏两类原因混淆
缺少 data_version → 旧数据回刷场景无法识别
缺少 ttl_remaining → 无法判断是否因 TTL 未更新导致数据残留

    

推荐日志格式（JSON 行）： 使用 JSON 行（每行一个 JSON 对象）作为统一输出格式，方便后续导入 Elasticsearch、ClickHouse 等分析引擎。
示例：

{"cache_key":"user:9527:profile","operation":"SET","timestamp":1712567890123,
 "data_version":204,"ttl_remaining":3599,"hit":false,"cost_ms":12,
 "node_id":"redis-shard-03","client_ip":"10.12.34.56"}

4.2 采样率控制：信息完整度与性能的平衡

采样率直接决定排查数据的“颗粒度”。采样过稀会漏掉关键污染事件，采样过密则可能拖垮缓存节点本身。以下判断规则可帮助你在不同场景下快速选定采样率。

采样率计算公式（基准线）：

基准采样率 = 目标排查窗口内最小污染事件数 ÷ 该窗口总操作数

示例：
  目标：在 10 分钟内至少捕获 5 次污染事件
  该窗口总操作数：约 120 万次
  基准采样率 = 5 ÷ 1,200,000 ≈ 0.00042% → 取整 0.001%

场景	推荐采样率	说明
核心交易链路（读多写少）	100%（全量）	任何一次写入异常都可能导致资损或脏数据
批量数据导入 / 迁移	100%（全量）	数据版本批量变更期间，污染概率最高
常规业务查询（读多写少）	1%～5%	能够捕捉热点 key 的异常变更
后台异步清扫 / 淘汰	0.1%～1%	操作频次极高，且多为内部行为，低采样即可
批量离线分析	0.01%～0.1%	大数据量下以趋势分析为目的，不追求单点精确

  动态采样调整规则：
  当缓存节点 CPU > 80% 或 QPS > 阈值 × 0.9，自动将采样率降为当前值的 1/10（保护节点）
当检测到 缓存命中率突降 > 10% 或 错误率上升 > 5%，自动将采样率提升至 100%（进入排查模式）
当存储水位超过 70%，启动采样率压缩，优先丢弃 cost_ms 和 client_ip 字段

4.3 全量采集 vs 采样采集：场景化决策

全量与采样并非二选一，而是同一套采集系统中可动态切换的模式。下列决策矩阵帮助你在每次部署或异常发生时快速选择正确模式。

决策维度	全量采集	采样采集
数据完整性	100% 记录，无遗漏	按比例抽取，存在漏记概率
性能影响	高（额外 10%～30% 写入开销）	低（可控在 1% 以内）
存储成本	高（线性增长）	低（按采样率等比下降）
排查能力	可精确回溯任意单次操作	仅支持统计推断和趋势分析
适用阶段	异常定位期、回归验证期	日常监控期、容量规划期
典型场景	脏数据溯源、CI 回归测试	长期趋势分析、容量水位预估

  场景切换判断规则：
  规则 A：当前为采样模式 → 如果出现 缓存命中率单日跌幅 > 15% 或 同 key 连续 3 次返回不同值 → 切换为全量模式，持续 30 分钟
规则 B：当前为全量模式 → 如果 连续 7 天无污染告警 且 存储使用率 < 40% → 可降为 5% 采样
规则 C：CI 回归流水线触发 → 自动切换全量模式，覆盖构建到部署的全流程

# 配置示例：Nginx 风格的条件采集（伪代码）
if (mode == "sampling") {
    sample_rate = 0.05;  // 5%
    if (命中率跌落 > 0.15) {
        mode = "full";
        sample_rate = 1.0;
        auto_recover_after = 1800;  // 30 分钟后自动恢复
    }
}
if (mode == "full") {
    fields = ALL;
    if (storage_usage > 0.7) {
        fields = ["cache_key","operation","timestamp","data_version","ttl_remaining"];
    }
}

4.4 存储周期与轮转策略

存储周期决定了你能回溯多远的“案发现场”。周期过短会导致历史日志被覆盖，周期过长则造成存储浪费。以下配置规则基于常见排查窗口给出建议。

数据类型	建议存储周期	存储量估算（单节点 10K QPS）	说明
全量操作日志	72 小时	约 300～500 GB	覆盖周末+节假日，确保跨日排查
采样操作日志	14 天	约 50～100 GB	支撑周级趋势分析和回归对比
污染告警日志	30 天	约 5～10 GB	用于月报和长期污染模式分析
配置变更日志	90 天	约 1～2 GB	配合审计，追溯人为操作

轮转策略推荐（基于 logrotate 或自研轮转）：

按时间轮转：每小时一个分片，保留最近 72 个分片（全量）或 336 个分片（采样）
按大小轮转：单文件上限 10 GB，超过后自动压缩归档
归档策略：全量日志 72 小时后压缩为 .gz 并移入冷存，保留 7 天后删除
冷存前做 字段裁剪：丢弃 cost_ms、client_ip，仅保留排查核心字段

# logrotate 配置示例（全量日志）
/var/log/cache/access.log {
    hourly
    rotate 72
    compress
    delaycompress
    size 10G
    postrotate
        /usr/bin/cache_log_rotate_hook --mode=full --retention=72h
    endscript
}

# 冷存前字段裁剪脚本（伪代码）
if file_age > 72h:
    for line in file:
        record = json.loads(line)
        pruned = {
            "cache_key": record["cache_key"],
            "operation": record["operation"],
            "timestamp": record["timestamp"],
            "data_version": record["data_version"],
            "ttl_remaining": record["ttl_remaining"]
        }
        write_to_cold_storage(json.dumps(pruned))

存储水位预警规则：

存储使用率 > 60%：触发“采样率降级”或“字段裁剪”预案
存储使用率 > 80%：立即切换为“仅保留污染告警日志”，丢弃全量操作日志
存储使用率 > 95%：触发紧急扩容，同时暂停所有日志写入（保护缓存节点）

日志采集策略总决策树

以下决策树综合了字段选择、采样模式、存储周期三大要素，可作为团队落地日志采集策略的参考图谱：

本章核心交付：
① 字段清单 — 9 个必备字段，缺失任何一个都可能导致排查分支中断。
② 采样率公式 — 从目标排查窗口倒推最小采样率，并支持动态升降。
③ 场景决策矩阵 — 全量 vs 采样的 6 个对比维度，配合 3 条自动切换规则。
④ 存储周期配置 — 4 类数据的不同保留时长，以及水位超过阈值时的降级预案。