3、回放数据采集：数据源类型与一致性保障

回放数据采集是风控网关回放对比评审的基石。采集质量直接决定对比结论的可信度。本节从数据源类型、采集策略、一致性保障三个维度展开，帮助架构师构建可靠的数据采集层。

3.1 数据源类型

风控网关回放的数据源主要分为三类：实时流量、离线日志、数据库快照。三类数据源在时效性、完整性、存储成本上各有优劣，实际生产中通常组合使用。

3.2 采集策略

采集策略需要解决三个核心问题：采什么（字段范围）、怎么采（采样/全量）、采多少（流量比例）。

3.2.1 字段范围策略

• 全量字段采集： 包含请求头、请求体、响应体、网关内部上下文（路由结果、风控标签、耗时）。适用于首次建立回放基线。
• 最小字段采集： 仅采集请求唯一标识（traceId）、路由 key、风控决策结果。适用于长期持续对比，降低存储压力。
• 动态字段采集： 根据规则引擎动态决定采集哪些字段。例如：命中某条风控规则时，额外采集设备指纹。

3.2.2 采样策略

3.2.3 流量比例控制

通过网关侧配置中心下发采样开关，支持按接口、按来源、按用户分桶。典型配置示例：

# 风控网关采样配置（YAML 格式）
sampling:
  enabled: true
  default_ratio: 0.1          # 默认 10%
  overrides:
    - path: /api/v1/payment
      ratio: 1.0              # 支付接口全量
    - path: /api/v1/query
      ratio: 0.01             # 查询接口 1%
  user_bucket:
    - key: user_id
      buckets: [0-999]        # 只采集 user_id 哈希后 0-999 的用户

3.3 一致性保障

数据一致性是回放对比的生命线。采集阶段一旦出现数据丢失、乱序、重复，后续对比将失去意义。一致性保障需要覆盖采集、传输、存储三个环节。

3.3.1 采集端一致性

• 位点管理： 记录每次采集的偏移量（offset），支持断点续传。Kafka 消费者组配合手动提交。
• 去重标识： 每条回放数据生成全局唯一 ID（traceId + 时间戳 + 随机数），下游按 ID 去重。
• 超时重试： 采集写入失败时，按指数退避策略重试 3 次，仍失败则写入死信队列。

3.3.2 传输层一致性

• 事务消息： 使用 RocketMQ 事务消息，确保“采集-发送”原子操作。
• 校验和： 每条消息携带 CRC32 校验码，消费端校验数据完整性。
• 顺序保障： 同一 traceId 的消息发送到同一分区，保证回放顺序与生产一致。

3.3.3 存储层一致性

• 唯一约束： 回放数据表对 traceId + 时间戳建立联合唯一索引。
• 数据校验： 定时任务扫描采集表与源数据表，比对记录数、关键字段哈希值。
• 补偿机制： 发现缺失数据时，从离线日志或数据库快照中补采。

3.4 数据采集架构总览

下图展示了风控网关回放数据采集的整体架构，涵盖三类数据源、采集管道、一致性保障组件。

3.5 采集策略对比与选型建议

不同业务场景对采集策略的要求差异较大。下表总结了常见场景下的推荐策略组合：

3.6 数据一致性校验流程

采集完成后，需要通过校验流程确认数据一致性。下图展示了从采集到校验的完整闭环：

3.7 关键指标与监控

采集阶段需要建立以下监控指标，确保数据质量可观测：

• 采集延迟： 从数据产生到进入回放存储的时间差，目标 < 30 秒（实时流量）或 < 10 分钟（离线日志）。
• 采集成功率： 成功写入回放存储的记录数 / 源数据记录数，目标 > 99.9%。
• 数据重复率： 去重后记录数 / 原始记录数，目标 < 0.01%。
• 校验通过率： 定时校验任务中一致记录数 / 总校验记录数，目标 > 99.99%。