实验设计基本原则
在风控策略的 Champion 实验中，实验设计的质量直接决定结论的可靠性与可落地性。四项基本原则——随机化、控制变量、样本量充足、统计显著性——构成了实验有效性的四根支柱。任何一项缺失，都可能导致策略误判、资源浪费甚至风险失控。
2.1 四项原则概览
| 原则 | 核心含义 | 风控场景中的关键作用 |
|---|---|---|
| 随机化 | 实验单元（用户/订单）以已知概率无偏分配至实验组与对照组 | 消除选择偏差，确保两组在实验前风险分布一致 |
| 控制变量 | 除待测策略外，其他影响指标的因素保持恒定 | 隔离策略效果，避免外部因素（如节假日、渠道流量波动）干扰 |
| 样本量充足 | 实验组与对照组的样本量满足最小可检测效应所需的统计功效 | 避免因样本不足而无法识别真实策略差异（假阴性） |
| 统计显著性 | 通过假设检验判断观察到的差异是否由随机波动引起 | 提供量化决策依据，降低“碰运气”式上线风险 |
避坑提示： 四项原则并非独立存在。例如，样本量不足会直接导致统计显著性检验失效；未做随机化则控制变量失去意义。设计实验时需同步检查四项条件是否同时满足。
2.2 随机化原则
随机化是实验设计的基石。在风控 Champion 实验中，通常以 用户ID 或 设备指纹 为随机化单元，通过哈希取模或伪随机数生成器完成分组。
- 分组方式： 推荐使用
user_id % 100的方式，将用户均匀分配到 100 个桶中，再按需合并为实验组与对照组。 - 常见陷阱： 按时间窗口（如“周一用户为实验组，周二为对照组”）或按地域简单划分，容易引入时间效应或地域差异，破坏随机性。
- 验证方法： 实验启动前，对两组在历史逾期率、授信通过率、年龄分布等关键指标上进行 AA 检验，确认无显著差异。
实操建议： 在风控系统中，随机化逻辑应写在策略引擎的最上游，确保所有后续规则、模型、人工审核环节均基于已确定的分组标签执行，避免分组泄露。
2.3 控制变量原则
控制变量的目的是让实验组与对照组仅在“待测策略”上存在差异。在风控场景中，需要重点控制的变量包括：
| 变量类别 | 具体示例 | 控制方法 |
|---|---|---|
| 时间窗口 | 实验组与对照组的流量必须来自同一时间段 | 同时启动、同时结束，避免“先上线实验组，一周后再上线对照组” |
| 渠道来源 | 不同渠道（如抖音、百度、线下）的用户风险差异大 | 按渠道分层随机化，或确保两组渠道构成一致 |
| 产品版本 | APP 版本、风控模型版本、审批流程版本 | 实验期间冻结所有非待测策略的版本变更 |
| 运营活动 | 免息券、提额活动、还款提醒策略 | 确保两组用户接收相同的运营触达（或均不触达） |
注意： 控制变量不等于“什么都不变”。当外部环境（如监管政策、市场利率）发生不可控变化时，应记录变化时间点并在分析阶段进行敏感性检验，而非强行维持实验。
2.4 样本量充足原则
样本量计算是实验设计中最容易被低估的环节。样本量不足会导致实验“有结果但无结论”。计算公式基于以下参数：
- 基准转化率（p0）： 对照组当前的通过率或逾期率。
- 最小可检测效应（MDE）： 你认为有业务意义的最小变化幅度（如通过率提升 1%）。
- 显著性水平（α）： 通常取 0.05。
- 统计功效（1-β）： 通常取 0.80。
常用样本量计算公式（两组比例检验）：
n = (Z_α/2 + Z_β)² × [p0×(1-p0) + p1×(1-p1)] / (p1 - p0)²
其中：
Z_α/2 = 1.96（α=0.05 双侧）
Z_β = 0.84（β=0.20，功效 0.80）
p0 = 对照组基准率
p1 = 实验组预期率（p0 + MDE）
风控场景经验值： 对于通过率类指标（基准 20%~40%），MDE 设为 1% 时，每组通常需要 5,000~15,000 个样本；对于逾期率类指标（基准 1%~5%），MDE 设为 0.5% 时，每组可能需要 50,000 以上样本。建议使用 Python 的
statsmodels.stats.proportion.proportion_effectsize 或 R 的 pwr 包进行精确计算。
2.5 统计显著性原则
统计显著性检验回答一个核心问题：实验组与对照组的差异，是真实存在的，还是随机波动造成的？
在风控 Champion 实验中，最常用的检验方法：
| 指标类型 | 推荐检验方法 | 适用场景 |
|---|---|---|
| 二分类指标（通过/拒绝、逾期/正常） | 卡方检验 或 Z 检验（比例检验） | 通过率、逾期率、催回率 |
| 连续型指标（授信额度、利率、还款天数） | 独立样本 t 检验 或 Mann-Whitney U 检验 | 平均额度、平均利率、平均逾期天数 |
| 比率型指标（ROI、CPS） | Bootstrap 差异检验 | 成本收益分析、单位获客成本 |
显著性检验的决策流程：
- 计算实验组与对照组的指标差值（如通过率提升 1.2%）。
- 计算 p 值（如 p = 0.003）。
- 比较 p 值与预设 α（0.05）：若 p < 0.05，拒绝原假设，认为差异显著。
- 同时关注 置信区间：若置信区间下限 > 0，说明提升方向稳定。
常见误区： p < 0.05 不代表效应量很大，也不代表业务上值得上线。必须结合 业务显著性（如提升 0.1% 的通过率但逾期率上升 2%）综合判断。统计显著 ≠ 业务显著。
2.6 四项原则的关系与实验设计流程
下图展示了四项原则在 Champion 实验设计中的协同关系：
四项原则环环相扣：随机化 保证分组无偏，控制变量 保证对比纯净，样本量充足 保证检验有效，统计显著性 保证结论可靠。在风控策略 Champion 实验中，任何一项原则的缺失都会导致实验结论的置信度下降，甚至误导策略方向。