3. 实验评估框架：贷后预警实验评估的完整流程
贷后预警A/B测试不是一次性的“跑个实验看结果”，而是一个闭环决策工程。从业务问题定义到策略全量上线，必须经过设计→实施→监控→分析→决策五个阶段。每个阶段都有明确的交付物、检查点和角色分工，缺一不可。
核心原则：贷后预警实验评估框架的底层逻辑是“先验证因果，再评估效果，最后决定是否放量”。任何跳过监控或分析阶段的实验，都可能把有偏结论直接带入生产环境，造成坏账损失。
3.1 完整流程五阶段总览
下图展示了贷后预警A/B测试评估的完整闭环流程。每个阶段都包含输入、关键活动和输出，形成可追溯的决策链路。
3.2 阶段详解：设计 → 实施 → 监控 → 分析 → 决策
3.2.1 设计阶段：实验的蓝图
设计阶段决定实验的有效性和可解释性。贷后预警实验的设计尤其需要关注样本量和分流单元的选择。
- 业务假设：明确预警策略预期改善的核心指标（如：逾期率下降5%）。
- 指标体系：区分核心指标（逾期率、回收率）、护栏指标（客户投诉率、人工介入成本）、过程指标（触达率、响应率）。
- 分流方案：确定分流单元（客户级/账户级/策略规则级）、分流比例（通常10%实验组 vs 10%对照组）、随机化方法。
- 样本量计算：基于最小可检测效应（MDE）和统计功效（通常80%），使用公式或工具计算所需样本量。
贷后预警实验设计避坑：不要使用“策略规则级”分流，因为同一客户可能被多条规则命中，造成污染。优先使用客户级分流，确保每个客户只属于一个实验组。
3.2.2 实施阶段：从方案到线上
实施阶段的核心是保真度——线上运行的实验必须与设计方案完全一致。
- 策略开发与部署：将预警策略编码为可执行的规则或模型，部署到实验平台。
- 埋点与数据采集：确保实验组和对照组的关键行为数据（触达、响应、还款）被完整采集。
- 分流验证：通过AA测试或分流一致性检查，确认两组在实验前的核心指标无显著差异。
- 灰度发布：先小流量（如1%）验证系统稳定性，再逐步放量至预设比例。
3.2.3 监控阶段：实验的“仪表盘”
监控不是“等结果”，而是实时发现异常，避免带病实验运行过久。贷后预警实验的监控频率通常为每日。
| 监控维度 | 监控指标 | 告警阈值 | 响应动作 |
|---|---|---|---|
| 数据质量 | 埋点缺失率、日志延迟 | 缺失率 > 5% | 暂停实验，排查数据管道 |
| 样本均衡 | 两组样本量偏差 | 偏差 > 10% | 检查分流逻辑是否被绕过 |
| 护栏指标 | 客户投诉率、人工介入率 | 投诉率 > 基线+2% | 触发紧急评审，考虑停止实验 |
| 核心指标 | 逾期率（日/周） | 实验组恶化 > 3% | 标记为“风险实验”，加强分析 |
监控红线：如果护栏指标（如客户投诉率）在实验组出现显著恶化，即使核心指标（逾期率）表现良好，也必须立即暂停实验。贷后预警策略不能以牺牲客户体验为代价。
3.2.4 分析阶段：从数据到洞察
分析阶段回答三个问题：有没有效果？效果有多大？效果是否稳健？
- 假设检验：使用双样本t检验或Mann-Whitney U检验，计算p值，判断核心指标差异是否统计显著。
- 效应量评估：计算Cohen's d或相对提升率，评估实际业务意义（统计显著 ≠ 业务显著）。
- 异质性分析：按客户分群（如：高风险/低风险、新客/老客）拆解效果，识别策略的“赢家”和“输家”。
- 稳健性检验：更换统计方法、剔除极端值、进行时间序列安慰剂检验，确保结论不依赖特定假设。
3.2.5 决策阶段：实验的终点与起点
决策阶段需要综合统计结论、业务价值和风险成本，做出最终判断。
| 决策选项 | 适用场景 | 后续动作 |
|---|---|---|
| 全量上线 | 核心指标显著提升，护栏指标无恶化，效应量有业务意义 | 制定全量上线计划，监控上线后效果 |
| 迭代优化 | 核心指标有正向趋势但不显著，或异质性分析发现部分客群效果差 | 调整策略参数或规则，重新设计实验 |
| 下线/放弃 | 核心指标无改善，或护栏指标显著恶化 | 记录实验结论，归档实验数据，避免重复实验 |
| 延长实验 | 样本量不足，或需要观察长期效果（如：90天逾期率） | 重新计算所需样本量，延长实验周期 |
3.3 关键角色与职责
贷后预警A/B测试实验评估不是一个人的工作，需要业务、数据、技术、风控四方协同。每个角色在五个阶段中的职责如下表所示。
| 角色 | 设计阶段 | 实施阶段 | 监控阶段 | 分析阶段 | 决策阶段 |
|---|---|---|---|---|---|
| 风控策略分析师 | 提出业务假设，定义核心指标 | 确认策略逻辑正确 | 关注护栏指标异常 | 解读业务意义，评估风险 | 做出上线/下线决策 |
| 数据科学家 | 设计分流方案，计算样本量 | 验证埋点，执行AA测试 | 搭建监控看板，设置告警 | 执行统计分析，撰写报告 | 提供统计结论与置信区间 |
| 算法/开发工程师 | 评估技术可行性 | 开发策略代码，部署实验 | 排查数据管道异常 | 提供实验日志与特征数据 | 执行全量上线或回滚操作 |
| 风控业务负责人 | 审批实验方案 | — | 接收异常告警，决策是否暂停 | 评审分析报告 | 最终审批决策结果 |
角色协作关键点：数据科学家必须确保分析结果对风控策略分析师“可解释”，避免使用过于复杂的模型或统计术语。风控策略分析师必须提供清晰的业务判断标准（如：逾期率下降多少才算“业务显著”），而不是只依赖p值。
3.4 实验评估框架的“检查清单”
在实际工作中，建议使用以下检查清单确保每个阶段不遗漏关键步骤。
- 设计阶段检查：☐ 业务假设是否可量化？ ☐ 核心指标是否唯一？ ☐ 分流单元是否合理？ ☐ 样本量是否满足统计功效？
- 实施阶段检查：☐ 策略代码是否经过Code Review？ ☐ 埋点是否通过QA验证？ ☐ AA测试是否通过？ ☐ 灰度流量是否稳定？
- 监控阶段检查：☐ 监控看板是否每日更新？ ☐ 告警阈值是否合理？ ☐ 是否有值班人员响应告警？
- 分析阶段检查：☐ 是否进行了异质性分析？ ☐ 是否做了稳健性检验？ ☐ 结论是否包含效应量和置信区间？
- 决策阶段检查：☐ 决策是否经过评审会议？ ☐ 是否记录了决策理由？ ☐ 是否制定了上线/下线执行计划？
实战建议：将上述检查清单嵌入实验管理平台的“实验创建”流程中，每个阶段必须勾选所有检查项才能进入下一阶段。这是避免人为疏忽的最有效手段。