4. 实验设计基础
在授信策略领域，Champion与Challenger对照实验不是“跑个A/B测试”那么简单。授信决策直接关联资金安全与客户体验，任何一次策略切换都可能带来坏账率波动或通过率骤降。因此，实验设计基础决定了整个实验的成败——目标错了，后面全错；假设虚了，结论不可信；分组偏了，数据白跑；周期短了，噪声淹没信号。本节围绕四个核心环节展开：目标设定、假设构建、样本分组与随机化、周期规划。
一、核心原理：授信实验的因果推断逻辑
授信策略实验的本质是因果推断：我们想知道“如果对同一批客户使用新策略，结果会怎样”。但现实中无法同时观测同一客户在两种策略下的表现，因此用随机化分组构造“反事实”对照组。Champion组代表现行策略（基准），Challenger组代表待验证策略（候选）。随机化确保两组在准入前特征分布一致，从而将结果差异归因于策略本身，而非客户资质差异。
关键等式：观测差异 = 策略效应 + 随机噪声 + 分组偏差。实验设计的核心任务就是让“分组偏差”趋近于零，并让“随机噪声”可控。
二、实验目标设定：从业务问题到可量化指标
目标设定要回答三个问题：优化什么？约束什么？观测多久？授信场景中，常见目标分为三类：
- 风险类目标：降低首逾率、降低DPD30+、降低坏账率。通常作为硬约束或主目标。
- 规模类目标：提升通过率、提升授信额度使用率、提升放款金额。通常作为增长目标。
- 体验类目标：降低人工审核率、缩短审批时长、提升客户满意度。通常作为辅助观测。
目标必须可量化、可归因、可比较。例如“提升通过率”应细化为“在首逾率不高于Champion组1.1倍的前提下，将整体通过率提升至少2个百分点”。这里“1.1倍”是风险容忍边界，“2个百分点”是最小可检测效应（MDE）。
实操建议：每个实验只设一个主目标（Primary Metric），其余为护栏指标（Guardrail Metrics）。主目标用于决策，护栏指标用于熔断。避免“既要通过率涨、又要坏账率降、还要成本降”的多目标陷阱。
三、假设构建：可证伪的因果陈述
假设不是“我觉得新策略更好”，而是结构化陈述。推荐使用PICO框架：Population（人群）、Intervention（干预）、Comparator（对照）、Outcome（结果）。
示例假设：
在【新客首贷申请人群】中，
将【授信审批规则从A卡切至B卡】，
相比【现行A卡策略】，
能够将【首逾率】降低【至少0.5个百分点】，
且【通过率】下降不超过【1个百分点】。假设必须包含方向、幅度和时间窗口。方向决定单尾/双尾检验；幅度决定样本量；时间窗口决定观测周期。三者缺一不可。
四、样本分组与随机化方法
授信实验的随机化单元通常是客户ID或申请件ID。随机化方法选择取决于业务约束：
| 随机化方法 | 适用场景 | 优点 | 风险 |
|---|---|---|---|
| 简单随机 | 样本量大、无强分层需求 | 实现简单、统计性质好 | 小样本下组间不平衡 |
| 分层随机 | 风险等级、渠道、地区差异大 | 组间协变量均衡 | 分层过多导致每层样本不足 |
| 区块随机 | 申请量随时间波动明显 | 时间维度均衡 | 区块大小需合理设定 |
| 配对随机 | 样本极少、需极致均衡 | 协变量完全匹配 | 匹配成本高、可能损失样本 |
授信场景推荐分层区块随机：先按风险等级（如A/B/C/D）和渠道分层，再在每层内按时间区块随机分配。这样既保证风险分布均衡，又避免早中晚申请量波动带来的偏差。
分组配置示例：
分层维度：risk_grade (A,B,C,D) × channel (APP,WEB,OFFLINE)
区块大小：每层每区块200件申请
随机比例：Champion:Challenger = 1:1
分配逻辑：hash(customer_id + experiment_id) % 2常见误区：用“申请时间”做随机化——先到的给Champion，后到的给Challenger。这会导致两组客户在时间维度上不可比，若期间有政策变化或市场波动，结论完全失效。
五、实验周期规划：样本量与观测窗口
周期规划由两个变量决定：样本量和观测时长。样本量取决于基线转化率、MDE、显著性水平和统计功效。授信场景中，首逾率通常较低（如3%），检测0.5个百分点的绝对提升需要较大样本。
样本量估算公式（简化）：
n = (Z_α/2 + Z_β)^2 × [p1(1-p1) + p2(1-p2)] / (p1-p2)^2
其中：
p1 = 基线首逾率 = 3%
p2 = 目标首逾率 = 2.5%
α = 0.05, β = 0.20
计算得每组约需 8,000 件申请观测窗口需覆盖表现期（Performance Window）。若首逾定义为“放款后30天内逾期”，则实验至少需要运行到每组积累足够样本且所有样本走完30天表现期。通常建议：
- 预热期：前3-5天数据不纳入分析，排除系统切换和客户异常行为。
- 正式运行期：按样本量估算，通常2-4周。
- 表现观察期：最后一批样本走完表现期，通常额外30-60天。
- 总周期：预热+运行+表现观察，通常6-10周。
加速技巧：若申请量不足，可考虑提高Challenger组分配比例（如1:2），但会降低统计功效；或放宽MDE，但需业务方确认可接受的最小效应。
六、案例复盘：一次通过率实验的失败教训
某现金贷产品试图验证“放宽授信规则能否提升通过率”。实验设计如下：Champion组用原规则，Challenger组放宽收入门槛。运行两周后发现Challenger组通过率提升4个百分点，但首逾率上升1.2个百分点。团队决定全量切换。切换后一个月，坏账率超出预期，最终回滚。
复盘发现三个设计缺陷：
- 目标设定错误：只盯通过率，未将首逾率设为硬约束，导致决策依据不完整。
- 周期过短：两周数据中，部分样本尚未走完表现期，首逾率被低估。
- 随机化偏差：Challenger组在周末申请占比偏高，而周末申请人群风险特征与工作日不同。
修正方案：将首逾率设为护栏指标（阈值+0.5pp），延长观测至8周，采用分层区块随机确保时间分布均衡。重新实验后，结论变为“通过率提升2.1pp，首逾率上升0.3pp，在容忍范围内”，最终小流量灰度上线。
核心记忆点：授信实验设计四要素——目标可量化、假设可证伪、分组可比较、周期可覆盖。缺一个，结论就不可信。