4. 实验假设与目标设定：如何定义实验成功标准
在贷后预警 Champion Challenger 实验中，实验假设与成功标准是实验设计的核心起点。假设不清晰，实验方向就会偏离业务目标；成功标准不量化，实验结论就无法落地。本节将系统讲解如何从业务痛点出发，构建可验证的假设，并定义多维度、可量化的成功指标。
4.1 实验假设的构建逻辑
实验假设应基于历史数据分析和业务经验，明确表述“新策略（Challenger）相比现有策略（Champion）在哪些方面带来改善”。一个完整的假设包含三个要素：干预变量、目标群体、预期效果。
假设公式模板：
针对 [目标客群]，采用 [新预警策略/模型]，相比现有策略，预期 [核心指标] 提升 [量化幅度]。
针对 [目标客群]，采用 [新预警策略/模型]，相比现有策略，预期 [核心指标] 提升 [量化幅度]。
常见假设类型示例：
| 假设类型 | 干预变量 | 目标群体 | 预期效果 |
|---|---|---|---|
| 模型优化型 | 新预警评分卡（XGBoost vs LR） | M1 逾期客户 | 30 天内催回率提升 5% |
| 策略调整型 | 预警触发阈值从 P30 下调至 P20 | D0-D7 早期逾期客户 | 7 日入催率降低 8% |
| 渠道优化型 | 新增智能外呼 + 短信组合触达 | M2 沉默客户 | 有效联系率提升 12% |
| 流程再造型 | 预警后 24h 内自动分配催收员 | M3 高风险客户 | 案件流转时效缩短 40% |
避坑提示：假设中的“量化幅度”应基于历史基线或小样本测试结果，避免设定不切实际的目标（如“逾期率降低 100%”）。建议参考过去 6 个月的指标波动范围，设定 ±20% 以内的合理提升目标。
4.2 实验成功标准的定义框架
成功标准不应是单一指标，而应构建一个多层级指标体系，覆盖效果、效率、风险三个维度。我们推荐使用“北极星指标 + 辅助指标 + 护栏指标”三层结构。
4.3 核心成功指标详解
以下是在贷后预警实验中最为关键的几个成功指标，以及它们的计算方式和适用场景。
| 指标名称 | 计算公式 | 适用场景 | 数据来源 |
|---|---|---|---|
| 逾期率（DPD30+） | 期末逾期 30 天以上本金 / 总在贷本金 | 评估预警策略对资产质量的整体影响 | 贷后系统 / 核心账务 |
| 催回率（7日/30日） | 统计期内催回金额 / 统计期内应催金额 | 衡量催收策略的短期与长期回收效果 | 催收系统 / 还款流水 |
| 有效联系率 | 有效联系案件数 / 总分配案件数 | 评估触达策略的覆盖效率 | 外呼系统 / 通话记录 |
| 误预警率 | 预警后 7 天内未逾期客户数 / 总预警客户数 | 控制预警模型的误报成本 | 预警系统 / 行为数据 |
| 客户投诉率 | 投诉案件数 / 总触达客户数 | 监控策略对客户体验的负面影响 | 客服系统 / 投诉工单 |
4.4 成功标准的量化阈值设定
定义成功标准时，需要为每个指标设定明确的量化阈值。阈值通常分为三类：
- 显著性阈值：统计显著性水平（p-value < 0.05），确保实验效果不是随机波动。
- 业务显著性阈值：指标提升幅度达到业务可接受的最小值（如催回率提升 ≥ 3%）。
- 护栏阈值：护栏指标恶化的最大容忍值（如投诉率上升 ≤ 0.5%）。
成功标准声明示例：
“Challenger 策略相比 Champion 策略，在 95% 置信水平下，M1 逾期率降低 ≥ 5%，同时 7 日催回率提升 ≥ 3%，且投诉率上升不超过 0.3%，则判定实验成功。”
“Challenger 策略相比 Champion 策略，在 95% 置信水平下，M1 逾期率降低 ≥ 5%，同时 7 日催回率提升 ≥ 3%，且投诉率上升不超过 0.3%，则判定实验成功。”
4.5 实验假设与成功标准的映射关系
为了更直观地展示假设与成功标准之间的对应关系，我们通过以下 SVG 图进行结构化呈现。
4.6 常见误区与应对策略
常见误区 1：只关注单一指标
例如只盯着“逾期率降低”，忽略了催收成本上升或客户投诉增加。最终可能导致业务“表面改善，内里恶化”。
应对策略：始终采用“北极星 + 辅助 + 护栏”三层指标体系，确保实验评估的全面性。
例如只盯着“逾期率降低”，忽略了催收成本上升或客户投诉增加。最终可能导致业务“表面改善，内里恶化”。
应对策略：始终采用“北极星 + 辅助 + 护栏”三层指标体系，确保实验评估的全面性。
常见误区 2：成功标准设定过于宽松或过于严格
宽松标准（如催回率提升 1%）容易导致实验结论不可靠；严格标准（如催回率提升 20%）则可能永远无法达到，浪费实验资源。
应对策略：基于历史数据计算指标的“最小可检测效应（MDE）”，结合业务成本收益分析，设定合理的业务显著性阈值。
宽松标准（如催回率提升 1%）容易导致实验结论不可靠；严格标准（如催回率提升 20%）则可能永远无法达到，浪费实验资源。
应对策略：基于历史数据计算指标的“最小可检测效应（MDE）”，结合业务成本收益分析，设定合理的业务显著性阈值。
常见误区 3：忽略护栏指标的统计检验
只对北极星指标做显著性检验，对护栏指标仅做简单对比，导致护栏指标恶化但未被发现。
应对策略：对所有护栏指标同样进行统计显著性检验，并设定“非劣效性”边界（如投诉率上升不超过 0.5% 且 p-value < 0.05）。
只对北极星指标做显著性检验，对护栏指标仅做简单对比，导致护栏指标恶化但未被发现。
应对策略：对所有护栏指标同样进行统计显著性检验，并设定“非劣效性”边界（如投诉率上升不超过 0.5% 且 p-value < 0.05）。
4.7 成功标准文档化模板
在实验启动前，建议将成功标准以结构化文档形式固定下来，作为实验评审和最终决策的依据。以下是一个标准模板：
实验名称：M1 逾期客户预警模型升级实验（Challenger: XGBoost vs Champion: LR）
实验编号：EXP-2025-004
实验周期：2025-03-01 至 2025-04-30
【实验假设】
针对 M1 逾期客户，采用 XGBoost 预警模型，相比现有 LR 模型，
预期 30 日催回率提升 ≥ 5%，同时误预警率不高于 15%。
【成功标准】
1. 北极星指标：
- 30 日催回率：Challenger 组 ≥ Champion 组 + 5%，p-value < 0.05
2. 辅助指标：
- 有效联系率：Challenger 组 ≥ Champion 组 + 3%
- 承诺还款率：Challenger 组 ≥ Champion 组 + 2%
3. 护栏指标：
- 误预警率：Challenger 组 ≤ 15%，且与 Champion 组差异 ≤ 2%
- 客户投诉率：Challenger 组 ≤ Champion 组 + 0.3%，p-value < 0.1
【决策规则】
- 成功：北极星指标显著提升 + 所有护栏指标未恶化
- 部分成功：北极星指标显著提升 + 部分护栏指标轻微恶化（需人工评审）
- 失败：北极星指标未显著提升 或 任何护栏指标严重恶化
最佳实践：成功标准文档应在实验启动前由风控、数据、业务三方共同评审签字，避免实验结束后因标准分歧导致结论争议。