4. 回放数据采集策略：日志采集规范、特征数据快照、请求与响应数据对齐、数据脱敏要求

回放验证的基石是高质量、可对齐、可追溯的原始数据。本章围绕数据采集的四个核心维度展开：日志采集规范确保数据来源一致；特征数据快照锁定模型入参的原始状态；请求与响应数据对齐建立回放与真实结果之间的映射关系；数据脱敏要求保障合规与隐私安全。

4.1 日志采集规范

统一的日志采集规范是回放数据质量的起点。所有模型服务节点必须遵循以下标准：

4.2 特征数据快照

特征数据快照是回放验证中“锁定现场”的关键手段。由于特征工程可能随时间变化（如衍生变量逻辑调整、外部数据源更新），必须在模型推理时刻保存一份不可变的特征快照。

• 快照内容：原始特征 + 衍生特征 + 特征版本号 + 特征生成时间。
• 存储格式：Parquet 列式存储，按日期分区，按 trace_id 分桶。
• 快照触发时机：模型推理前，特征组装完成后立即写入。
• 一致性保证：快照与推理请求使用同一 trace_id，确保后续可关联。

4.3 请求与响应数据对齐

回放验证的核心是将历史请求重新输入模型，并将新输出与历史输出进行对比。这要求请求与响应数据在时间、标识、内容三个维度上精确对齐。

对齐后的数据将形成回放验证的“黄金数据集”，每条记录包含：

{
  "trace_id": "a1b2c3d4-e5f6-7890-abcd-ef1234567890",
  "request_id": "req-20250408-001",
  "request_time": "2025-04-08T14:30:00.123Z",
  "response_time": "2025-04-08T14:30:00.456Z",
  "model_version": "v2.3.1",
  "feature_snapshot_path": "hdfs://snapshots/dt=20250408/a1b2c3d4.parquet",
  "request_body": { "age": 35, "income": 80000, "loan_amount": 200000 },
  "response_body": { "score": 680, "decision": "approve", "probability": 0.78 }
}

4.4 数据脱敏要求

回放数据中可能包含用户敏感信息（PII），如身份证号、手机号、银行卡号等。在采集、存储、传输、使用全生命周期中必须执行脱敏处理。

脱敏操作必须在日志采集端完成，禁止将明文 PII 写入日志文件或消息队列。脱敏后的数据仍保留原始数据的统计特征（如年龄区间、收入等级），不影响回放验证的准确性。

4.5 采集策略对比与选型建议