3. 实验假设与目标设定:如何定义业务指标、提出可验证假设

在授信引擎 A/B 测试中,实验假设是连接业务问题与统计检验的桥梁,目标指标则是衡量实验成败的标尺。本章将系统讲解如何从业务场景中提炼出可验证的假设,并定义三大核心业务指标:通过率、坏账率与额度使用率。

3.1 三大核心业务指标的定义与计算

授信决策直接影响用户转化、风险敞口与资金使用效率。下表给出了三个核心指标的业务含义与计算公式:

指标名称 业务含义 计算公式 数据来源
通过率 申请用户中最终获得授信的比例 通过人数 ÷ 申请总人数 × 100% 授信决策日志
坏账率 逾期超过指定天数(如 M3+)的金额占比 逾期本金总额 ÷ 已放款本金总额 × 100% 贷后还款流水
额度使用率 用户实际支用额度占授信总额的比例 已用额度 ÷ 授信总额 × 100% 额度管理 & 支用记录
指标选择原则:三个指标构成“转化—风险—使用”三角。单看通过率提升可能引入坏账,单看坏账降低可能过度收紧导致转化下降。A/B 测试必须同时监控三者,避免局部最优。

3.2 提出可验证的实验假设

一个好的假设应满足 SMART 原则:具体(Specific)、可测量(Measurable)、可达成(Achievable)、相关(Relevant)、有时限(Time-bound)。在授信场景中,假设通常围绕“调整某个策略变量 → 改变用户行为 → 影响业务指标”的因果链展开。

3.2.1 假设的典型结构

假设的通用模板为:

在 [用户群体] 中,将 [策略变量] 从 [当前值] 调整为 [实验值],
将导致 [核心指标] 发生 [预期变化方向与幅度],
同时 [监控指标] 不会出现 [不可接受的变化]。

示例:

  • 假设 A(通过率提升):在“公积金客群”中,将信用评分阈值从 650 分下调至 620 分,将导致通过率提升 8%,同时坏账率上升不超过 0.5 个百分点。
  • 假设 B(额度使用率提升):在“首贷用户”中,将初始额度从 5,000 元提升至 8,000 元,将导致额度使用率提升 12%,同时坏账率无显著变化。

3.2.2 假设的分类与验证方向

假设类型 核心关注点 典型策略变量 验证指标
转化优化型 提升通过率,扩大用户规模 评分卡阈值、拒绝策略 通过率 ↑,坏账率 ≤ 阈值
风险控制型 降低坏账率,优化资产质量 反欺诈规则、额度上限 坏账率 ↓,通过率 ≥ 阈值
收益提升型 提高额度使用率,增加利息收入 初始额度、定价策略 额度使用率 ↑,坏账率 ≤ 阈值
常见陷阱:假设中只写“提升通过率”而不量化幅度,或只写“降低坏账”而不设定可接受的通过率下限。没有量化边界的假设无法通过统计检验判定成败。

3.3 从业务目标到假设的推导流程

下图展示了从业务目标出发,逐步拆解到可验证假设的完整链路:

业务目标 → 可验证假设推导流程 业务目标 拆解为指标 识别策略变量 设定预期变化 定义监控边界 形成可验证假设 💡 推导示例: 业务目标“提升首贷用户转化” → 指标“通过率” → 策略变量“评分卡阈值” → 预期“通过率+10%” → 监控“坏账率≤当前+0.8%” → 形成假设。

3.4 假设的量化与边界设定

假设必须包含预期效应量和可接受边界。下表展示了如何将定性目标转化为定量假设:

定性目标 核心指标 预期变化(效应量) 监控指标 不可接受边界
扩大授信覆盖面 通过率 提升 5% 坏账率 上升超过 0.3%
降低高风险客群损失 坏账率 下降 1.2% 通过率 下降超过 3%
激活沉睡额度 额度使用率 提升 8% 坏账率 上升超过 0.5%
关键动作:在实验设计阶段,使用历史数据或小样本预实验估算效应量的合理范围。效应量过小会导致实验所需样本量过大;效应量过大则可能脱离实际,导致实验无法通过显著性检验。

3.5 假设的文档化与评审

每个实验假设应记录在统一的实验设计文档中,包含以下字段:

  1. 假设编号:H-2025-001
  2. 实验名称:首贷用户额度提升实验
  3. 策略变量:初始授信额度(5,000 → 8,000)
  4. 目标用户:首贷且信用分 ≥ 650 的用户
  5. 核心指标:额度使用率(预期提升 10%)
  6. 监控指标:坏账率(不可超过当前 2.1% + 0.4%)
  7. 统计假设:
    • H₀(零假设):实验组与对照组额度使用率无差异
    • H₁(备择假设):实验组额度使用率高于对照组
  8. 显著性水平:α = 0.05
  9. 检验功效:1 - β = 0.80

文档化后的假设需经过风控、数据、产品三方评审,确认策略变量可执行、指标可采集、效应量合理、监控边界可接受,方可进入实验部署阶段。