4. 增量效果评估基础
在催收策略A/B测试中,最容易被误读的指标不是“回收率”,而是“增量”。很多团队看到实验组回款高于对照组,就认为策略有效,但如果没有区分自然增量与策略增量,结论很可能把“本来就会还的人”算成了策略功劳。增量效果评估的核心,是回答一个反事实问题:如果这些人没有被施加该策略,他们还会不会还?会还多少?
一、核心原理:增量是“因为策略而多发生的回款”
增量(Incremental Lift)指在相同时间窗口、相同客群条件下,因策略干预而额外产生的回款金额或还款概率。它不是一个绝对回收值,而是一个差值:
增量回款 = 实验组回款 - 对照组回款
增量回收率 = 实验组回收率 - 对照组回收率
增量ROI = 增量回款 / 策略成本
这里的关键在于“对照组”代表什么。若对照组是无干预,则增量包含策略触达、提醒、施压等全部净效应;若对照组是常规催收,则增量是“新策略相对于常规动作的额外效果”。两种口径不能混用,否则会高估或低估策略价值。
一句话理解:自然增量是“不催也会还”的部分,策略增量是“因为催了才还”的部分。催收策略评估真正要抓的是后者。
二、自然增量与策略增量:把“本来会还”的人识别出来
自然增量通常来自客户自身的还款意愿、资金到账、工资日、家庭周转、外部压力等,与催收动作无关。策略增量则来自催收策略的触达方式、频率、话术、时间点、施压强度等。二者在总回款中同时存在,必须拆开看。
| 维度 | 自然增量 | 策略增量 |
|---|---|---|
| 来源 | 客户自身资金与意愿变化 | 催收动作带来的行为改变 |
| 典型表现 | 工资日、账单日后集中还款 | 实验组比对照组多还的部分 |
| 评估方式 | 历史基线、同期无干预客群 | A/B测试、因果推断模型 |
| 常见误判 | 把自然回款算成策略效果 | 把策略效果算成自然波动 |
| 业务价值 | 用于预测与分层 | 用于策略取舍与预算分配 |
例如,某催收团队在发薪日前后对逾期客户发送短信,实验组回收率提升3个百分点。若不做对照,可能认为短信很有效;但对照发现,未发送短信的客户在发薪日同样会自然还款,实际策略增量可能只有0.8个百分点。剩下的2.2个百分点,是自然增量。
三、反事实推断:增量评估的底层逻辑
反事实推断(Counterfactual Inference)要回答的是:同一个客户,在同一时间,如果接受了另一种处理,结果会怎样?现实中我们无法同时观察同一个人“被催”和“没被催”的两个结果,因此只能通过对照组、随机分流或因果模型来构造反事实。
在催收场景中,反事实通常表现为:
- 个体反事实:某客户如果没收到这通电话,今天会不会还?
- 群体反事实:实验组如果按对照组的方式处理,整体回款会是多少?
- 策略反事实:如果换一种话术、时间或频率,增量会变大还是变小?
反事实推断的质量,取决于分流是否随机、样本是否可比、干扰是否被控制。若实验组和对照组在逾期天数、金额、历史还款率上差异很大,直接比较就会产生偏差。
操作提示:在催收A/B测试中,优先按逾期阶段、未还金额、历史还款行为做分层随机,而不是简单按客户ID随机。这样能显著降低自然增量差异带来的噪声。
四、因果推断在催收中的应用:从相关到因果
因果推断不是简单看“实验组比对照组高”,而是要在控制混杂因素后,估计策略的真实因果效应。催收中常见的混杂因素包括:逾期天数、欠款金额、客户风险等级、历史还款次数、是否发薪日、是否多头负债等。
常用方法包括:
- 随机对照试验(RCT):最可靠,随机分流后直接比较增量。
- 倾向得分匹配(PSM):为实验组客户匹配相似对照组客户,减少选择偏差。
- 双重差分(DID):比较实验前后、实验组与对照组的差异,控制时间趋势。
- 断点回归(RDD):利用逾期天数或金额阈值附近的自然断点,估计策略效应。
- 因果森林/ uplift模型:识别“对策略敏感”的人群,实现精准催收。
下面是一个简化的 uplift 评估参数示例,用于记录实验组与对照组的增量口径:
experiment_id: collection_sms_v3
group: treatment / control
metric: repayment_amount_7d
strata:
- overdue_days_bucket
- outstanding_amount_bucket
- history_repay_rate_bucket
incremental_lift:
formula: treatment_mean - control_mean
confidence_interval: 0.95
min_sample_per_stratum: 200
在真实业务中,因果推断的价值不只是算出一个增量数字,而是回答“对谁、在什么时间、用什么策略,增量最大”。例如,对高风险短逾期客户,强施压可能带来短期回款,但也可能引发投诉;对低风险客户,温和提醒可能已经足够。通过 uplift 模型,可以把催收资源集中在策略敏感人群上,而不是对所有客户统一加码。
五、误区与复盘:增量评估最容易踩的坑
误区1:只看实验组回收率,不看对照组。没有对照,就无法区分自然增量与策略增量。
误区2:实验组和对照组客群不可比。若实验组本身风险更低,回收率高不代表策略有效。
误区3:忽略时间窗口与发薪日效应。7天回款和30天回款的增量口径不同,结论可能相反。
误区4:把统计显著当成业务显著。样本量足够大时,0.1%的增量也可能显著,但未必值得投入成本。
误区5:忽略负向增量。过度催收可能导致客户反感、投诉上升、后续还款意愿下降,形成负增量。
复盘时建议固定一套评估清单:先确认实验分流是否随机,再检查分层是否均衡,然后计算增量与置信区间,最后结合成本、投诉率、后续回款做综合判断。只有把自然增量剥离出去,催收策略的A/B测试才真正具备决策价值。