4. 灰度验证实验设计：A/B测试框架设计、对照组与实验组的划分原则、流量切分策略
灰度验证是额度模型从离线开发走向全量上线前的关键环节。其核心是通过小范围真实流量验证新模型（实验组）相较于旧模型（对照组）在风险区分能力、通过率、坏账率等核心指标上的表现差异。一个严谨的A/B测试框架设计，能够有效隔离外部干扰，确保验证结论的统计显著性。
4.1 A/B测试框架设计
一个完整的A/B测试框架需要覆盖从流量接入、分流、模型决策到结果回收的全链路。下图展示了额度模型灰度验证的标准技术架构：
框架设计要点：
- 流量入口统一：所有申请流量先经过统一的网关层，避免多入口导致的分流混乱。
- 分流逻辑前置：在模型调用之前完成分流，确保两组在特征加工、模型调用环节完全隔离。
- 决策链路独立：对照组与实验组拥有独立的额度计算链路，互不干扰。
- 结果回收闭环：通过统一的日志系统或数据管道，将两组的授信结果、后续表现数据回流至分析平台。
4.2 对照组与实验组的划分原则
对照组与实验组的划分质量直接决定灰度结论的可信度。划分的核心目标是保证两组在除模型策略外的其他维度上具有统计可比性。
| 划分原则 | 说明 | 常见违规场景 |
|---|---|---|
| 随机性 | 每个样本被分配到任意一组的概率相等，避免系统性偏差 | 按用户ID奇偶分流，导致某组集中了特定注册时段用户 |
| 独立性 | 同一用户多次申请时，始终进入同一分组，避免污染 | 用户第一次申请在对照组，第二次被分到实验组 |
| 稳定性 | 灰度期间分组关系固定，不因模型迭代或参数调整而改变 | 灰度中途调整分流比例，导致前后期样本不可比 |
| 充分性 | 每组样本量需满足统计检验的最小样本要求 | 实验组仅分配1%流量，一个月后样本量仍不足 |
| 可回溯性 | 每个决策记录需携带分组标识，支持事后归因分析 | 日志中未记录分组ID，无法区分决策来源 |
实操建议：推荐使用基于用户ID的哈希取模算法（如MD5取前8位转整数后对100取模）进行分组。该算法天然满足随机性、独立性和稳定性，且易于在分布式系统中实现。
4.3 流量切分策略
流量切分策略决定了灰度验证的节奏和风险暴露程度。常见的切分策略包括固定比例切分、动态调整切分和分层切分。
4.3.1 固定比例切分
在灰度全周期内，对照组与实验组的流量比例保持不变。适用于模型差异较小、风险可控的场景。
- 常见比例：90%:10%（保守）、80%:20%（标准）、70%:30%（激进）
- 优点：实现简单，统计推断方便
- 缺点：无法根据中期结果灵活调整风险敞口
4.3.2 动态调整切分（多阶段灰度）
将灰度过程划分为多个阶段，每个阶段逐步扩大实验组流量比例。适用于模型改动较大、需要渐进式验证的场景。
4.3.3 分层切分
在用户分层（如按风险等级、客群类型）的基础上，对不同层级分别设置不同的切分比例。适用于模型在不同客群上表现差异较大的场景。
| 用户分层 | 对照组比例 | 实验组比例 | 切分理由 |
|---|---|---|---|
| 高风险客群 | 95% | 5% | 风险敞口控制，谨慎验证 |
| 中风险客群 | 80% | 20% | 标准验证，兼顾风险与效率 |
| 低风险客群 | 70% | 30% | 风险较低，可加速验证 |
避坑提醒：
- 避免在流量高峰期（如双十一、春节）启动灰度，极端流量模式会放大随机波动。
- 避免在灰度期间同时上线其他策略或产品变更，防止混淆效应。
- 切分比例不宜过小（如实验组<1%），否则需要极长的观察周期才能达到统计显著。
4.4 样本量估算与观察周期
在确定切分策略后，需根据预期效果大小和统计显著性水平估算所需样本量。常用公式（基于两样本比例检验）：
n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₁ - p₂)²
其中：
Z_α/2 = 1.96（对应95%置信水平）
Z_β = 0.84（对应80%统计功效）
p₁ = 对照组预期坏账率
p₂ = 实验组预期坏账率例如，若对照组坏账率 p₁=3%，预期实验组坏账率 p₂=2.5%，则每组约需 13,500 个样本。结合日均申请量，即可反推所需观察天数。