3. 实验假设与目标设定:如何定义业务指标、提出可验证假设
在授信引擎 A/B 测试中,实验假设是连接业务问题与统计检验的桥梁,目标指标则是衡量实验成败的标尺。本章将系统讲解如何从业务场景中提炼出可验证的假设,并定义三大核心业务指标:通过率、坏账率与额度使用率。
3.1 三大核心业务指标的定义与计算
授信决策直接影响用户转化、风险敞口与资金使用效率。下表给出了三个核心指标的业务含义与计算公式:
| 指标名称 | 业务含义 | 计算公式 | 数据来源 |
|---|---|---|---|
| 通过率 | 申请用户中最终获得授信的比例 | 通过人数 ÷ 申请总人数 × 100% | 授信决策日志 |
| 坏账率 | 逾期超过指定天数(如 M3+)的金额占比 | 逾期本金总额 ÷ 已放款本金总额 × 100% | 贷后还款流水 |
| 额度使用率 | 用户实际支用额度占授信总额的比例 | 已用额度 ÷ 授信总额 × 100% | 额度管理 & 支用记录 |
指标选择原则:三个指标构成“转化—风险—使用”三角。单看通过率提升可能引入坏账,单看坏账降低可能过度收紧导致转化下降。A/B 测试必须同时监控三者,避免局部最优。
3.2 提出可验证的实验假设
一个好的假设应满足 SMART 原则:具体(Specific)、可测量(Measurable)、可达成(Achievable)、相关(Relevant)、有时限(Time-bound)。在授信场景中,假设通常围绕“调整某个策略变量 → 改变用户行为 → 影响业务指标”的因果链展开。
3.2.1 假设的典型结构
假设的通用模板为:
在 [用户群体] 中,将 [策略变量] 从 [当前值] 调整为 [实验值],
将导致 [核心指标] 发生 [预期变化方向与幅度],
同时 [监控指标] 不会出现 [不可接受的变化]。
示例:
- 假设 A(通过率提升):在“公积金客群”中,将信用评分阈值从 650 分下调至 620 分,将导致通过率提升 8%,同时坏账率上升不超过 0.5 个百分点。
- 假设 B(额度使用率提升):在“首贷用户”中,将初始额度从 5,000 元提升至 8,000 元,将导致额度使用率提升 12%,同时坏账率无显著变化。
3.2.2 假设的分类与验证方向
| 假设类型 | 核心关注点 | 典型策略变量 | 验证指标 |
|---|---|---|---|
| 转化优化型 | 提升通过率,扩大用户规模 | 评分卡阈值、拒绝策略 | 通过率 ↑,坏账率 ≤ 阈值 |
| 风险控制型 | 降低坏账率,优化资产质量 | 反欺诈规则、额度上限 | 坏账率 ↓,通过率 ≥ 阈值 |
| 收益提升型 | 提高额度使用率,增加利息收入 | 初始额度、定价策略 | 额度使用率 ↑,坏账率 ≤ 阈值 |
常见陷阱:假设中只写“提升通过率”而不量化幅度,或只写“降低坏账”而不设定可接受的通过率下限。没有量化边界的假设无法通过统计检验判定成败。
3.3 从业务目标到假设的推导流程
下图展示了从业务目标出发,逐步拆解到可验证假设的完整链路:
3.4 假设的量化与边界设定
假设必须包含预期效应量和可接受边界。下表展示了如何将定性目标转化为定量假设:
| 定性目标 | 核心指标 | 预期变化(效应量) | 监控指标 | 不可接受边界 |
|---|---|---|---|---|
| 扩大授信覆盖面 | 通过率 | 提升 5% | 坏账率 | 上升超过 0.3% |
| 降低高风险客群损失 | 坏账率 | 下降 1.2% | 通过率 | 下降超过 3% |
| 激活沉睡额度 | 额度使用率 | 提升 8% | 坏账率 | 上升超过 0.5% |
关键动作:在实验设计阶段,使用历史数据或小样本预实验估算效应量的合理范围。效应量过小会导致实验所需样本量过大;效应量过大则可能脱离实际,导致实验无法通过显著性检验。
3.5 假设的文档化与评审
每个实验假设应记录在统一的实验设计文档中,包含以下字段:
- 假设编号:H-2025-001
- 实验名称:首贷用户额度提升实验
- 策略变量:初始授信额度(5,000 → 8,000)
- 目标用户:首贷且信用分 ≥ 650 的用户
- 核心指标:额度使用率(预期提升 10%)
- 监控指标:坏账率(不可超过当前 2.1% + 0.4%)
- 统计假设:
- H₀(零假设):实验组与对照组额度使用率无差异
- H₁(备择假设):实验组额度使用率高于对照组
- 显著性水平:α = 0.05
- 检验功效:1 - β = 0.80
文档化后的假设需经过风控、数据、产品三方评审,确认策略变量可执行、指标可采集、效应量合理、监控边界可接受,方可进入实验部署阶段。