4. 灰度试运行策略设计：流量切分策略与对照组/实验组设计原则
灰度试运行的核心在于通过可控的流量切分，在真实业务环境中验证新模型（实验组）相对于旧模型（对照组）的AUC稳定性与业务效果。本节将详细阐述两种主流的流量切分策略——按用户ID切分与按时间窗口切分，并给出对照组与实验组的设计原则。
4.1 流量切分策略
流量切分决定了哪些样本进入实验组（新模型打分），哪些进入对照组（旧模型打分）。切分策略必须满足独立性、稳定性与可回溯性三个基本要求。
4.1.1 按用户ID切分（随机哈希分桶）
该策略通过对用户唯一标识（如用户ID、身份证号）进行哈希运算，将用户均匀分配到不同实验桶中。适用于长期、跨周期的模型效果对比。
| 维度 | 说明 |
|---|---|
| 切分粒度 | 用户级（同一用户始终进入同一桶） |
| 优点 | 用户行为不交叉污染；便于长期跟踪同一用户的贷后表现；业务逻辑简单 |
| 缺点 | 若用户量不足，分桶后样本稀疏；无法应对用户ID体系变更 |
| 适用场景 | 存量用户模型迭代、额度管理、长期风险监控 |
实践要点： 建议使用
user_id % N 或 hash(user_id) % N 进行分桶。N 通常取 10 或 100，实验组与对照组各占 5%~10% 流量，剩余 80%~90% 保持旧模型不变。
4.1.2 按时间窗口切分（日历轮转）
该策略按照自然时间（如天、周、月）划分实验窗口与对照窗口。适用于短期验证、紧急上线或无法按用户切分的场景。
| 维度 | 说明 |
|---|---|
| 切分粒度 | 时间片级（同一用户在不同时间可能进入不同桶） |
| 优点 | 实现简单，无需用户ID；可快速切换；适合A/B测试框架 |
| 缺点 | 易受时间效应干扰（节假日、营销活动）；用户跨期行为难以归因 |
| 适用场景 | 新客进件、流量高峰期快速验证、模型紧急热修复 |
避坑提示： 按时间窗口切分时，务必记录每个时间片对应的模型版本。若实验组窗口恰逢“双十一”大促，对照组窗口为普通工作日，则AUC对比将严重失真。建议采用“ABBA”轮转设计（如：周一实验组、周二对照组、周三对照组、周四实验组）来平衡时间效应。
4.2 对照组与实验组的设计原则
对照组与实验组的科学设计是灰度试运行结论可信的基石。以下五个原则必须严格遵守：
- 同质性原则： 对照组与实验组的客群分布、时间窗口、业务策略（如审批通过率、额度授予规则）应尽可能一致。唯一变量是模型版本。
- 独立性原则： 同一用户不应同时出现在对照组与实验组中（按用户ID切分天然满足；按时间窗口切分需确保用户不跨期重复计算）。
- 最小样本原则： 每组至少包含 3000 个以上坏样本或 10000 笔以上有效订单，以保证AUC计算具有统计意义。
- 可回溯原则： 所有分桶规则、模型版本、时间戳必须落库，支持事后回溯与归因分析。
- 动态调整原则： 灰度期间若发现实验组AUC显著低于对照组（如降幅超过 0.02），应立即暂停实验并回滚。
推荐配置： 对于日均进件 10 万笔以上的业务，建议按用户ID切分，对照组 5%（5000笔/日）、实验组 5%（5000笔/日），运行 7~14 天。对于日均进件低于 1 万笔的业务，建议按时间窗口切分，采用“周轮转”模式，实验组与对照组各运行 1 周，交替 2~3 轮。
4.2.1 对照组与实验组的流量分配比例
| 业务规模 | 对照组比例 | 实验组比例 | 剩余流量（旧模型） | 建议运行周期 |
|---|---|---|---|---|
| 超大规模（日均 > 50万笔） | 3% ~ 5% | 3% ~ 5% | 90% ~ 94% | 5 ~ 7 天 |
| 中等规模（日均 5~50万笔） | 5% ~ 10% | 5% ~ 10% | 80% ~ 90% | 7 ~ 14 天 |
| 小规模（日均 < 5万笔） | 10% ~ 20% | 10% ~ 20% | 60% ~ 80% | 14 ~ 30 天 |
4.3 灰度试运行策略设计检查清单
在正式启动灰度试运行前，请逐项确认以下检查点：
- 切分策略选择： 是否根据业务场景选择了合适的切分方式（用户ID / 时间窗口）？
- 分桶比例验证： 对照组与实验组的流量比例是否满足最小样本要求？
- 模型版本标记： 每条申请记录是否都标记了对应的模型版本号与分桶ID？
- 监控指标对齐： 是否已部署AUC、KS、PSI等实时监控看板？
- 回滚预案： 是否制定了AUC下降超过阈值的自动回滚机制？
- 数据隔离： 实验组与对照组的评分结果是否写入不同的数据表或带不同标签？
案例参考： 某头部消费金融公司在灰度新模型时，采用按用户ID切分（对照组5%、实验组5%），运行7天后发现实验组AUC为0.782，对照组为0.775，提升0.007。但由于实验组坏样本仅2100个（未达3000阈值），决定延长灰度至14天，最终坏样本达到4100个，AUC提升稳定在0.008，才正式全量上线。