📚 课程目录第4章催收A/B测试指标体系

4. 催收A/B测试指标体系：核心指标与辅助指标

指标体系是A/B测试的“仪表盘”。选错指标，测试结果可能误导决策；指标不全，则无法评估全局影响。本章系统梳理催收场景下的核心指标、辅助指标，以及指标选取的常见陷阱。

4.1 核心指标：直接衡量催收效果

核心指标直接反映催收触达的“第一性目标”——让债务人还款。在A/B测试中，通常作为主要终点指标，用于判断实验组是否优于对照组。

指标名称	定义	计算公式	适用场景
回收率	在指定周期内，实际回收金额占应回收总金额的比例	回收金额 ÷ 应回收金额 × 100%	所有催收策略的终极效果衡量
接通率	成功触达债务人（电话接通、短信已读、邮件打开等）的次数占尝试总次数的比例	接通次数 ÷ 尝试总次数 × 100%	评估触达渠道有效性、时段策略
承诺还款率	在触达后，债务人做出明确还款承诺的占比	承诺还款人数 ÷ 接通人数 × 100%	评估话术、施压策略的短期说服力

  指标优先级建议： 回收率是“北极星指标”，接通率和承诺还款率是过程指标。当回收率提升但接通率下降时，需警惕是否过度施压导致债务人失联；当承诺还款率提升但回收率未同步提升时，需检查承诺履约环节是否存在漏洞。

4.2 辅助指标：评估全局影响与风险

辅助指标用于监测A/B测试的副作用和长期价值，避免“赢了战役，输了战争”。

指标名称	定义	监测目的
投诉率	因催收行为引发的客户投诉数量占总触达量的比例	控制合规风险，避免监管处罚
客户满意度	通过回访或问卷获取的债务人对催收体验的评分	评估品牌声誉与长期还款意愿
成本效率	单位回收金额所消耗的催收成本（人力、通信、系统等）	评估策略的经济可行性

实战经验： 某次测试中，实验组通过“高频外呼+强硬话术”将回收率提升了8%，但投诉率飙升了300%，最终被监管约谈。辅助指标在此类场景中起到了“刹车”作用。

4.3 指标选取原则与常见陷阱

4.3.1 四项基本原则

可衡量性： 指标必须能通过现有系统准确采集，避免“无法量化”的模糊概念。
敏感性： 指标对策略变化反应灵敏，能在合理样本量下检测出显著差异。
抗干扰性： 指标不易受外部因素（如节假日、宏观经济波动）的剧烈干扰。
可解释性： 指标变化能清晰归因于测试策略，而非混杂因素。

4.3.2 三大常见陷阱

陷阱类型	表现	后果	应对方法
幸存者偏差	只统计“已接通”样本的回收率，忽略未接通样本	高估策略效果，实际整体回收率可能下降	始终以“全量样本”为分母计算核心指标
指标互斥	同时优化回收率和投诉率，但两者存在天然冲突	策略陷入两难，无法做出明确决策	设定主次指标，或使用“综合得分”进行权衡
短期主义	只关注测试周期内的回收率，忽略长期客户价值	短期回收率提升，但客户流失、坏账率后续反弹	加入“二次逾期率”“复借率”等长期跟踪指标

警示： 不要为了追求统计显著性而随意“捏造”或“合并”指标。指标体系的构建必须在测试开始前完成，并写入测试计划文档。测试过程中临时新增指标，属于“数据窥探”行为，会严重破坏统计推断的有效性。

4.4 指标体系架构图

下图展示了催收A/B测试中核心指标与辅助指标的层级关系，以及它们如何共同支撑策略决策。

4.5 指标选取决策流程

在实际项目中，建议按照以下流程确定指标体系：

明确测试目标： 是提升短期回收率，还是降低投诉率？目标决定指标优先级。
列出候选指标： 从核心指标和辅助指标中，筛选出与目标直接相关的3~5个指标。
检查数据可用性： 确认指标所需数据能否从催收系统、客服系统、财务系统中准确提取。
定义计算口径： 明确分子、分母、时间窗口、排除规则（如“失联客户”是否计入分母）。
设定最小可检测效应： 基于历史数据，确定指标的最小变化量，用于样本量计算。
记录并冻结： 将指标体系写入测试计划，测试期间不得修改。

  案例： 某消费金融公司计划测试“AI外呼+人工兜底”策略。指标体系设定为：

  · 核心指标：7日回收率（北极星）、接通率（过程）

  · 辅助指标：投诉率（合规）、单次触达成本（成本效率）

  · 排除陷阱：以“全量分配样本”为分母计算回收率，避免幸存者偏差；设定投诉率上限阈值，一旦超标立即停止测试。