1. 风险实验概述：商户风险实验的定义、目的与核心价值
1.1 什么是商户风险实验？
商户风险实验是一种受控的、可重复的、基于假设驱动的验证方法，用于在真实或模拟的商户交易环境中，测试风控策略、模型或规则的有效性、鲁棒性与副作用。它不同于传统的离线回测（backtesting），强调在有限范围内进行“在线干预”，并收集因果效应证据。
核心定义：风险实验 = 假设 + 干预 + 对照 + 度量。通过对比实验组（应用新策略）与对照组（维持旧策略或空白组）的差异，量化策略的真实影响。
1.2 风险实验的目的
- 验证策略有效性：确认新规则/模型能否在降低坏账率、欺诈损失的同时，不过度干扰正常商户。
- 量化边际收益：评估策略带来的风险下降幅度与交易量/收入损失之间的平衡点。
- 发现未知副作用：识别策略是否导致商户行为扭曲（如规避规则、交易转移）或客诉上升。
- 建立因果归因：区分“策略效果”与“自然周期波动”，避免误判。
- 积累实验资产：形成可复用的实验设计模板、效果评估指标集与决策阈值。
1.3 核心价值
| 价值维度 | 说明 | 典型量化指标 |
|---|---|---|
| 决策质量 | 从“拍脑袋”升级为“数据+因果”驱动，降低上线后回滚风险 | 策略上线后坏账率变化、误杀率 |
| 迭代速度 | 通过并行实验快速筛选最优策略，缩短从开发到部署的周期 | 实验周期（天）、每周可测试策略数 |
| 成本控制 | 避免全量上线失败导致的巨额赔付或商户流失 | 实验阶段损失 vs 全量上线预估损失 |
| 组织共识 | 提供客观证据，拉平风控、业务、产品团队对策略效果的分歧 | 实验报告通过率、跨团队采纳率 |
1.4 风险实验在风控生命周期中的位置
商户风控生命周期通常包含六个阶段：风险识别 → 策略设计 → 实验验证 → 部署上线 → 监控调优 → 归档迭代。风险实验位于“策略设计”与“部署上线”之间，是连接离线分析与在线决策的关键验证闸口。
1.5 实验类型速览
根据实验环境和干预粒度，商户风险实验通常分为以下三类：
| 实验类型 | 环境 | 商户粒度 | 典型场景 | 置信度 |
|---|---|---|---|---|
| 离线回测 | 历史数据 | 全量 | 新模型效果初筛 | 中（存在幸存者偏差） |
| 在线A/B实验 | 生产环境（小流量） | 随机分流 | 规则阈值调整、模型替换 | 高（因果可识别） |
| 准实验/干预分析 | 生产环境（非随机） | 分层/匹配 | 无法随机分流的场景（如全量策略） | 中高（需控制混淆变量） |
实践建议：在资源允许的情况下，优先采用在线A/B实验。对于无法随机分流的场景（如监管要求全量执行），可使用断点回归（RDD）或双重差分（DID）等准实验方法进行效果评估。
1.6 实验设计的关键要素
- 明确假设：例如“将单日交易限额从5万降至3万，可使欺诈率下降20%，同时影响不超过5%的正常商户”。
- 定义指标：核心指标（如坏账率、欺诈损失率）、护栏指标（如客诉率、交易通过率）、监控指标（如平均交易金额）。
- 确定样本量：基于最小可检测效应（MDE）和统计功效计算所需商户数，避免实验“假阴性”。
- 随机化与对照：确保实验组与对照组在商户特征（行业、交易量、历史风险分）上可比。
- 时长设定：覆盖至少一个完整的交易周期（如7天或30天），排除星期效应和月末效应。
⚠️ 常见陷阱：实验组与对照组样本量差异过大（如9:1分流），导致统计功效不足；或实验时长过短，未捕捉到策略的长期滞后效应（如商户学习适应规则后的行为反弹）。