4. 实验设计原则：随机化、控制变量、样本分割策略
信用评分模型的 A/B 测试并非简单的“上线-对比”过程。若实验设计存在系统性偏差，即使模型 AUC 提升 2%，也可能因样本自选择、时间效应或数据泄露而得出错误结论。本节围绕三大核心原则——随机化、控制变量、样本分割策略——展开，确保实验结论具备统计效力与业务可解释性。
4.1 随机化：消除选择偏差的基石
随机化是实验设计的“黄金标准”。在信用评分场景中，随机化意味着每个申请用户（或每笔订单）被分配到实验组（新模型）或对照组（旧模型）的概率相等，且分配过程独立于用户特征与申请时间。
关键原则：随机化必须发生在模型决策之前，且不能被业务规则（如 VIP 用户优先、高额度订单优先）覆盖。若因风控策略强制将高风险用户全部导向旧模型，则实验组与对照组的风险分布将不可比。
| 随机化层级 | 适用场景 | 优点 | 风险点 |
|---|---|---|---|
| 用户级随机化 | 新用户注册、额度审批 | 用户行为独立，统计检验效力高 | 同一用户多次申请可能被分到不同组 |
| 订单级随机化 | 交易反欺诈、分期定价 | 粒度细，适合高频交易场景 | 同一用户多笔订单可能产生组间污染 |
| 时间片随机化 | 系统架构无法支持实时分流 | 实现简单，无需改造核心路由 | 易受时间效应（节假日、营销活动）干扰 |
实战建议：在信用评分 A/B 测试中，优先采用用户级随机化。若用户 ID 不可用（如匿名浏览），则使用设备指纹或 Cookie 进行哈希分桶，确保同一用户始终进入同一实验组。
4.2 控制变量：隔离模型效果与外部干扰
控制变量的核心目标是：除了评分模型本身，实验组与对照组在所有其他维度上保持一致。常见的干扰变量包括：
- 时间效应：周末与工作日的申请量、逾期率天然不同；促销活动期间用户行为突变。
- 渠道差异：来自 APP 端与网页端的用户信用分布不同。
- 产品类型：现金贷与消费分期的风险特征差异显著。
- 用户生命周期：新用户与老用户的违约率基线不同。
控制变量的常用手段：
- 分层随机化（Stratified Randomization）：先按渠道、产品、用户等级分层，再在每层内独立随机分配。
- 协变量平衡检验：实验开始前，对比两组在关键特征（年龄、收入、历史逾期次数）上的均值差异，确保无显著偏差。
- 固定效应模型：在效果评估阶段，将时间、渠道等作为哑变量纳入回归模型，剔除其影响。
常见陷阱：不要仅依赖“随机化”自动平衡所有变量。当样本量不足或分层过细时，随机化可能失效。务必在实验前进行协变量平衡检验（如标准化均值差 SMD < 0.1）。
4.3 样本分割策略：用户级 vs 订单级 vs 时间片
样本分割策略决定了实验的统计单元与分析单元。选择不当会导致“一果多因”或“伪重复”问题。
4.3.1 用户级分割（User-Level Split）
以用户 ID 为哈希键，将用户永久分配到实验组或对照组。同一用户的所有申请、订单、行为均归属同一组。
- 优点：避免组间污染；用户行为完整可追踪；适合评估长期信用表现（如 90 天逾期率）。
- 缺点：新用户冷启动阶段无法分流；用户量少时统计效力不足。
- 适用场景：信用额度审批、利率定价、贷后催收策略。
4.3.2 订单级分割（Order-Level Split）
以订单 ID 或交易 ID 为哈希键，每笔订单独立随机分配。同一用户的不同订单可能进入不同组。
- 优点：样本量大，实验周期短；适合高频交易场景。
- 缺点：同一用户可能同时体验新旧模型，产生“学习效应”或“对比效应”；用户级指标（如复借率）难以归因。
- 适用场景：交易反欺诈模型、实时定价策略。
4.3.3 时间片分割（Time-Slice Split）
按时间窗口（如每小时、每天）交替切换实验组与对照组。例如：周一三五使用新模型，周二四六使用旧模型。
- 优点：无需改造核心路由系统；适合遗留系统或第三方风控接口。
- 缺点：时间效应（如周一申请量高、周末逾期率低）与模型效果完全混淆；无法区分“模型差异”与“日期差异”。
- 适用场景：仅作为临时方案或无法实现实时分流的兜底策略。
决策矩阵：若业务允许，优先选择用户级分割；若必须快速验证且用户行为独立，选择订单级分割；仅在系统架构限制下使用时间片分割，且必须配合时间序列模型（如 DID）进行校正。
4.4 实验设计流程总览
下图展示了从随机化到样本分割的完整实验设计流程，以及各环节的关键控制点。
4.5 样本分割策略选择矩阵
为帮助团队快速决策，下表总结了三种分割策略在关键维度上的对比：
| 评估维度 | 用户级分割 | 订单级分割 | 时间片分割 |
|---|---|---|---|
| 统计单元 | 用户 ID | 订单 ID | 时间窗口 |
| 组间独立性 | 高（用户不交叉） | 中（用户可能交叉） | 低（时间效应混淆） |
| 样本量获取速度 | 慢（依赖新用户流入） | 快（存量订单可复用） | 中（受时间窗口限制） |
| 长期指标评估 | 适合（可追踪 90d+） | 不适合（用户行为碎片化） | 困难（需时间序列校正） |
| 系统改造成本 | 中（需用户路由逻辑） | 低（订单级哈希即可） | 低（仅需时间开关） |
| 推荐场景 | 额度审批、利率定价 | 交易反欺诈、实时定价 | 遗留系统、第三方接口 |
实战经验：在金融科技公司中，80% 的信用评分 A/B 测试采用用户级分割。若因业务紧急必须使用订单级分割，建议在分析时按用户 ID 聚类标准误（Cluster Robust Standard Errors），以校正组内相关性。
4.6 实验设计检查清单
在启动 A/B 测试前，请逐项确认以下要点：
- 随机化机制已上线：用户 ID 哈希分桶算法已部署，且分流比例稳定（如 50%:50%）。
- 协变量平衡已通过：实验组与对照组在年龄、收入、历史逾期次数等关键特征上的 SMD < 0.1。
- 控制变量已锁定：实验期间不调整渠道策略、产品利率、审批规则。
- 样本分割策略已选定：根据业务场景选择用户级/订单级/时间片，并明确分析单元。
- 最小样本量已计算：基于预期效果提升（如 AUC +0.02）和统计功效（80%），计算所需样本量。
- 监控指标已埋点：实验组与对照组的通过率、逾期率、响应率等指标已接入实时看板。
避坑提醒：不要在实验开始后“动态调整”分流比例。若发现某组样本量不足，应停止实验、重新设计，而非手动补量。动态调整会破坏随机化假设，导致统计推断失效。