4. 样本数据来源：线上真实样本、离线回放样本、人工标注样本、对抗样本

样本数据的质量与多样性直接决定风控拦截策略的校验效果。单一来源的样本容易导致策略过拟合或漏放新型风险。本章详细拆解四种核心样本来源的采集方式、适用场景与校验价值。

4.1 四种样本来源对比总览

4.2 线上真实样本

线上真实样本是从生产环境直接采集的实时流量数据，包含正常请求与风控拦截记录。这是校验策略最直接、最可靠的样本来源。

• 采集点： 网关日志、业务 API 拦截日志、风控决策引擎输出日志。
• 关键字段： 请求时间、用户 ID、IP、设备指纹、行为参数、策略命中结果、最终业务处置（通过/拒绝/人工审核）。
• 校验价值： 快速发现策略误杀（正常用户被拦截）与漏放（黑产未被拦截）。
• 注意事项： 线上样本需脱敏处理，避免用户隐私泄露；同时需设置采样比例，防止存储与计算资源过载。

4.3 离线回放样本

离线回放样本是将历史流量数据在离线环境中重新输入风控策略引擎，用于验证策略变更是否引入回归问题。

• 数据来源： 历史日志备份、AB 实验对照组数据、灰度发布期间的流量快照。
• 回放方式： 全量回放（覆盖所有历史请求）或抽样回放（按用户/时间/风险等级分层抽样）。
• 校验价值： 对比新旧策略的拦截率变化、误杀率变化、响应时间变化。
• 注意事项： 回放环境需与生产环境保持一致的策略版本与模型版本；回放结果需与线上实际结果做差异分析。

# 离线回放样本校验伪代码示例
def offline_replay_check(old_strategy, new_strategy, replay_data):
    results = []
    for sample in replay_data:
        old_decision = old_strategy.evaluate(sample)
        new_decision = new_strategy.evaluate(sample)
        if old_decision != new_decision:
            results.append({
                "sample_id": sample.id,
                "old_result": old_decision,
                "new_result": new_decision,
                "diff_type": "拦截变更" if old_decision == "pass" else "放行变更"
            })
    return results

4.4 人工标注样本

人工标注样本是经过专家或审核团队人工确认标签的样本数据，通常用于训练风控模型或校准策略阈值。

• 标注来源： 工单系统（用户申诉）、审核团队（人工复审）、众包平台（大规模标注）。
• 标注维度： 是否风险、风险类型（盗号/刷单/欺诈/爬虫）、风险等级（低/中/高）。
• 校验价值： 提供“黄金标准”标签，用于评估策略的精确率与召回率。
• 注意事项： 标注一致性需通过多人交叉验证保证；标注样本需覆盖长尾风险场景，避免样本偏差。

4.5 对抗样本

对抗样本是专门用于测试风控策略鲁棒性的恶意构造数据，模拟黑产可能使用的绕过手段。

• 生成方式：
  • 红队攻击： 安全专家手动构造绕过请求。
  • 规则变异： 基于现有规则自动生成变种（如 IP 轮换、设备指纹伪造）。
  • GAN 生成： 使用生成对抗网络自动生成高仿真恶意样本。
• 校验价值： 发现策略的盲区与脆弱点，提前加固防御。
• 注意事项： 对抗样本需定期更新，因为黑产攻击手法也在不断进化；对抗样本的标签需人工复核，避免误将正常样本标记为对抗样本。

4.6 四种样本来源的协同校验流程

4.7 样本来源选择策略

在实际校验任务中，应根据校验目标选择最合适的样本来源组合：

• 日常监控： 以线上真实样本为主，配合离线回放样本做周级回归。
• 策略上线前： 离线回放样本 + 人工标注样本，确保无回归且准确率达标。
• 黑产攻击应急： 线上真实样本 + 对抗样本，快速定位绕过手法并加固。
• 模型迭代： 人工标注样本为主，对抗样本为辅，提升模型泛化能力。