1. 风控实验概述
1.1 风控实验的定义
风控实验是在受控或准受控环境下，通过对比策略变更前后（或实验组与对照组之间）的风险表现，量化评估风控策略、模型或规则效果的系统性方法。其核心逻辑是：在排除外部干扰的前提下，归因于策略本身带来的风险指标变化。
核心公式： 策略效果 = 实验组指标 − 对照组指标（在统计显著性达标的前提下）
1.2 风控实验的目标
风控实验服务于三个层次的目标，从战术到战略逐级递进：
| 目标层级 | 具体内容 | 典型问题 |
|---|---|---|
| 效果验证 | 确认新策略是否优于旧策略或基准线 | 新模型上线后，逾期率是否显著下降？ |
| 风险归因 | 区分策略效果与外部环境（市场、季节、客群）的影响 | 逾期率下降是因为策略变严，还是因为客群质量季节性提升？ |
| 迭代优化 | 为策略调优提供数据驱动的决策依据 | 阈值从0.6调整到0.65，通过率与坏账率如何权衡？ |
1.3 风控实验的核心价值
- 降低试错成本：在小流量或模拟环境中验证策略，避免全量上线后造成大规模损失。
- 提升决策置信度：通过统计检验（如t检验、卡方检验、Mann-Whitney U检验）量化策略效果的显著性，避免“拍脑袋”决策。
- 满足合规与审计要求：监管机构（如央行、银保监会）对策略变更的合理性、可追溯性提出明确要求，实验报告是合规审计的核心材料。
- 加速策略迭代：建立“假设→实验→评估→上线/回滚”的闭环，缩短从策略构思到部署的周期。
实践提示：在信贷场景中，一次成功的风控实验通常能帮助机构避免因策略误判导致的0.5%~2%的坏账率波动，对应千万级甚至亿级的资金损失。
1.4 风控实验在三大场景中的应用
风控实验并非信贷场景的专利，在支付、反欺诈等领域同样扮演关键角色。下表对比了三大场景的实验特点：
| 应用场景 | 实验对象 | 核心指标 | 实验难点 |
|---|---|---|---|
| 信贷 | 额度策略、定价策略、审批规则、模型阈值 | 逾期率（DPD30/60/90）、通过率、坏账率、Vintage | 长周期（30~90天才能看到完整表现）、样本自选择偏差 |
| 支付 | 交易限额、风控拦截规则、验证流程（如3DS） | 交易成功率、误拦截率、欺诈损失率、用户投诉率 | 实时性要求高、用户行为波动大、需要秒级决策 |
| 反欺诈 | 设备指纹规则、行为序列模型、团伙识别策略 | 欺诈识别率（TPR）、误伤率（FPR）、审核人力成本 | 欺诈样本极度稀疏（通常<0.1%）、对抗性环境（欺诈者会主动适应策略） |
1.5 风控实验的通用流程
无论场景如何，风控实验都遵循以下标准步骤：
- 定义实验目标与假设：明确要验证的策略变更点，提出可量化的零假设（H₀）与备择假设（H₁）。
- 设计实验方案：确定分流方式（随机分流/时间分流/分层分流）、样本量计算（基于预期效应量、显著性水平α、统计功效1-β）。
- 实施实验：在实验平台或生产环境中部署实验组与对照组策略，确保分流逻辑正确、数据埋点完整。
- 数据收集与清洗：剔除异常流量、处理缺失值、对齐时间窗口。
- 效果评估：计算核心指标，执行统计检验，评估策略效果是否显著且稳定。
- 决策与部署：根据实验结果决定全量上线、灰度放量、策略回滚或重新设计实验。
1.6 实验评估的核心指标框架
风控实验的评估不能只看单一指标，需要构建多维度的指标体系。以下是一个通用的评估框架：
- 风险指标：逾期率、坏账率、欺诈损失率、不良率（NPL）——衡量策略对风险的控制效果。
- 业务指标：通过率、授信额度使用率、交易成功率、用户留存率——衡量策略对业务增长的潜在影响。
- 效率指标：审核时效、模型响应时间、人工介入率——衡量策略对运营效率的影响。
- 稳定性指标：PSI（群体稳定性指标）、CSI（特征稳定性指标）——衡量策略在不同时间窗口或客群上的表现是否一致。
常见陷阱：只关注风险指标而忽略业务指标，可能导致策略过于保守，造成“零逾期但零增长”的尴尬局面。风控实验的终极目标是在可接受的风险范围内最大化业务价值，而非单纯追求最低风险。
1.7 实验评估的统计基础
风控实验的结论必须建立在统计显著性之上。以下是三种最常用的统计检验方法及其适用场景：
| 检验方法 | 适用场景 | 数据要求 | 典型应用 |
|---|---|---|---|
| 双样本t检验 | 比较两组连续型指标的均值差异 | 近似正态分布、方差齐性 | 比较实验组与对照组的平均逾期天数 |
| 卡方检验 | 比较两组分类指标的分布差异 | 频数数据、期望频数≥5 | 比较实验组与对照组的逾期/非逾期人数比例 |
| Mann-Whitney U检验 | 比较两组非正态分布连续型指标的差异 | 有序数据、不要求正态分布 | 比较实验组与对照组的授信额度分布 |