4. 增量效果评估基础

在催收策略A/B测试中,最容易被误读的指标不是“回收率”,而是“增量”。很多团队看到实验组回款高于对照组,就认为策略有效,但如果没有区分自然增量与策略增量,结论很可能把“本来就会还的人”算成了策略功劳。增量效果评估的核心,是回答一个反事实问题:如果这些人没有被施加该策略,他们还会不会还?会还多少?

一、核心原理:增量是“因为策略而多发生的回款”

增量(Incremental Lift)指在相同时间窗口、相同客群条件下,因策略干预而额外产生的回款金额或还款概率。它不是一个绝对回收值,而是一个差值:

增量回款 = 实验组回款 - 对照组回款
增量回收率 = 实验组回收率 - 对照组回收率
增量ROI = 增量回款 / 策略成本

这里的关键在于“对照组”代表什么。若对照组是无干预,则增量包含策略触达、提醒、施压等全部净效应;若对照组是常规催收,则增量是“新策略相对于常规动作的额外效果”。两种口径不能混用,否则会高估或低估策略价值。

一句话理解:自然增量是“不催也会还”的部分,策略增量是“因为催了才还”的部分。催收策略评估真正要抓的是后者。

二、自然增量与策略增量:把“本来会还”的人识别出来

自然增量通常来自客户自身的还款意愿、资金到账、工资日、家庭周转、外部压力等,与催收动作无关。策略增量则来自催收策略的触达方式、频率、话术、时间点、施压强度等。二者在总回款中同时存在,必须拆开看。

维度自然增量策略增量
来源客户自身资金与意愿变化催收动作带来的行为改变
典型表现工资日、账单日后集中还款实验组比对照组多还的部分
评估方式历史基线、同期无干预客群A/B测试、因果推断模型
常见误判把自然回款算成策略效果把策略效果算成自然波动
业务价值用于预测与分层用于策略取舍与预算分配

例如,某催收团队在发薪日前后对逾期客户发送短信,实验组回收率提升3个百分点。若不做对照,可能认为短信很有效;但对照发现,未发送短信的客户在发薪日同样会自然还款,实际策略增量可能只有0.8个百分点。剩下的2.2个百分点,是自然增量。

三、反事实推断:增量评估的底层逻辑

反事实推断(Counterfactual Inference)要回答的是:同一个客户,在同一时间,如果接受了另一种处理,结果会怎样?现实中我们无法同时观察同一个人“被催”和“没被催”的两个结果,因此只能通过对照组、随机分流或因果模型来构造反事实。

在催收场景中,反事实通常表现为:

  • 个体反事实:某客户如果没收到这通电话,今天会不会还?
  • 群体反事实:实验组如果按对照组的方式处理,整体回款会是多少?
  • 策略反事实:如果换一种话术、时间或频率,增量会变大还是变小?

反事实推断的质量,取决于分流是否随机、样本是否可比、干扰是否被控制。若实验组和对照组在逾期天数、金额、历史还款率上差异很大,直接比较就会产生偏差。

操作提示:在催收A/B测试中,优先按逾期阶段、未还金额、历史还款行为做分层随机,而不是简单按客户ID随机。这样能显著降低自然增量差异带来的噪声。

四、因果推断在催收中的应用:从相关到因果

因果推断不是简单看“实验组比对照组高”,而是要在控制混杂因素后,估计策略的真实因果效应。催收中常见的混杂因素包括:逾期天数、欠款金额、客户风险等级、历史还款次数、是否发薪日、是否多头负债等。

常用方法包括:

  1. 随机对照试验(RCT):最可靠,随机分流后直接比较增量。
  2. 倾向得分匹配(PSM):为实验组客户匹配相似对照组客户,减少选择偏差。
  3. 双重差分(DID):比较实验前后、实验组与对照组的差异,控制时间趋势。
  4. 断点回归(RDD):利用逾期天数或金额阈值附近的自然断点,估计策略效应。
  5. 因果森林/ uplift模型:识别“对策略敏感”的人群,实现精准催收。

下面是一个简化的 uplift 评估参数示例,用于记录实验组与对照组的增量口径:

experiment_id: collection_sms_v3
group: treatment / control
metric: repayment_amount_7d
strata:
  - overdue_days_bucket
  - outstanding_amount_bucket
  - history_repay_rate_bucket
incremental_lift:
  formula: treatment_mean - control_mean
  confidence_interval: 0.95
  min_sample_per_stratum: 200

在真实业务中,因果推断的价值不只是算出一个增量数字,而是回答“对谁、在什么时间、用什么策略,增量最大”。例如,对高风险短逾期客户,强施压可能带来短期回款,但也可能引发投诉;对低风险客户,温和提醒可能已经足够。通过 uplift 模型,可以把催收资源集中在策略敏感人群上,而不是对所有客户统一加码。

五、误区与复盘:增量评估最容易踩的坑

误区1:只看实验组回收率,不看对照组。没有对照,就无法区分自然增量与策略增量。

误区2:实验组和对照组客群不可比。若实验组本身风险更低,回收率高不代表策略有效。

误区3:忽略时间窗口与发薪日效应。7天回款和30天回款的增量口径不同,结论可能相反。

误区4:把统计显著当成业务显著。样本量足够大时,0.1%的增量也可能显著,但未必值得投入成本。

误区5:忽略负向增量。过度催收可能导致客户反感、投诉上升、后续还款意愿下降,形成负增量。

复盘时建议固定一套评估清单:先确认实验分流是否随机,再检查分层是否均衡,然后计算增量与置信区间,最后结合成本、投诉率、后续回款做综合判断。只有把自然增量剥离出去,催收策略的A/B测试才真正具备决策价值。