4. 回放数据预处理：数据清洗、脱敏、格式化、时间戳对齐

原始回放流量在进入对比引擎之前，必须经过严格的预处理管线。未经清洗的数据可能包含脏请求、敏感字段、格式错乱或时间偏差，直接对比会导致误报率飙升或合规风险。本章按“清洗 → 脱敏 → 格式化 → 对齐”四个阶段展开，每个阶段都对应明确的校验规则与工程实现。

4.1 数据清洗：剔除脏数据与无效流量

清洗阶段的目标是移除三类干扰数据：

• 探活/健康检查请求：网关内部心跳、K8s Probe、SLB 健康检查，特征为固定路径（/health、/actuator/health）或固定 User-Agent。
• 超时/断连请求：回放记录中响应码为 499（客户端断开）或 504（网关超时）的条目，无法用于对比。
• 重复请求：因重试机制产生的完全相同的请求（相同 traceId 或 幂等键），仅保留首条。

def clean(raw_records):
    cleaned = []
    seen_idempotent = set()
    for r in raw_records:
        if r.path in HEALTH_CHECK_PATHS: continue
        if r.status_code in (499, 504): continue
        key = (r.method, r.path, r.body_hash, r.user_id)
        if key in seen_idempotent: continue
        seen_idempotent.add(key)
        cleaned.append(r)
    return cleaned

4.2 数据脱敏：保护敏感字段与合规红线

回放数据可能包含用户手机号、身份证、银行卡、密码等敏感信息。脱敏必须在存储和传输前完成，遵循“最小可用”原则：

4.3 数据格式化：统一协议与字段结构

生产环境与回放环境的请求/响应格式可能存在差异（如 HTTP/1.1 vs HTTP/2、JSON vs Protobuf、不同版本的 SDK 序列化方式）。格式化阶段需要做三件事：

1. 协议归一：将所有请求统一为对比引擎可识别的内部协议格式（例如：Method + Path + Headers + Body 四元组）。
2. 字段排序：对 JSON Body 中的 key 按字典序排序，消除序列化顺序差异导致的误报。
3. 空值标准化：将 null、""、undefined 统一为 null，避免因空值表示不同而触发对比差异。

4.4 时间戳对齐：消除时钟偏差与网络延迟

回放请求的时间戳来自生产环境，而回放执行时间可能相差数小时甚至数天。直接使用原始时间戳会导致对比引擎无法正确关联请求与响应。对齐策略分为两步：

• 基准对齐：选取回放批次中第一个请求的原始时间戳 T0_orig 和实际回放时间 T0_replay，计算偏移量 Δ = T0_replay - T0_orig。
• 逐条修正：对每条记录，修正时间戳 T_corrected = T_orig + Δ，同时保留原始时间戳用于后续分析。

4.5 预处理质量检查清单

在数据进入对比引擎前，建议执行以下自动化检查：