1. 课程导入
欢迎进入《催收策略A/B测试与增量效果评估》课程。在催收业务中，策略调整往往牵一发而动全身：话术、触达时点、频次、渠道组合、减免方案、外包分配规则，任何一项变化都可能同时影响回款率、客户投诉率、运营成本和合规风险。如果仅凭经验判断“新策略看起来更好”，很容易把季节性波动、客群结构变化或样本偏差误认为策略收益。本课程要解决的核心问题，就是如何用科学的实验设计和增量评估方法，把“感觉有效”转化为“可验证、可量化、可复现”的策略结论。
一、学习目标：从策略执行者到实验设计者
完成本课程后，你应当具备以下能力：
- 能设计：针对催收场景中的话术、频次、渠道、减免、外包等策略变量，独立设计可落地的A/B测试方案，包括分流单位、样本量、实验周期和护栏指标。
- 能度量：理解增量效果的本质，能够区分“绝对提升”与“增量提升”，并正确计算回款增量、成本增量和ROI。
- 能分析：掌握假设检验、置信区间、显著性判断和常见偏差识别方法，避免被虚假显著结果误导。
- 能决策：基于实验结果形成策略上线、迭代或回滚建议，并能向业务、风控、合规和管理层清晰解释结论。
- 能复盘：建立实验台账和复盘机制，把单次实验沉淀为可复用的策略知识库。
二、核心价值：为什么催收策略必须做增量评估
催收策略的收益通常不是“有或无”的问题，而是“多多少”的问题。一个客户即使不催也可能还款，一个客户即使催了也可能不还。增量效果评估要回答的是：相比不采取该策略或采取原策略，新策略额外带来了多少回款？这个“额外”部分才是策略的真实价值。
不做增量评估，常见后果有三类：第一，把自然回款误判为策略功劳，导致预算和人力错配；第二，把短期波动当成长期趋势，频繁切换策略，团队无所适从；第三，只关注回款率而忽视投诉、成本和合规风险，最终得不偿失。A/B测试与增量评估的价值，正在于用对照和统计推断，把策略效果从噪声中分离出来。
核心公式：策略增量收益 = 实验组回款 − 对照组回款 − 策略执行成本。若增量收益为正且统计显著，同时护栏指标未恶化，策略才具备上线价值。
三、整体框架：四层递进的知识结构
本课程围绕“设计—执行—分析—决策”四个环节展开，形成完整闭环。为便于理解，先给出整体框架：
| 层次 | 核心问题 | 关键方法 | 产出物 |
|---|---|---|---|
| 实验设计层 | 测什么、怎么分组、测多久 | 随机分流、样本量计算、MDE设定 | 实验方案与分流规则 |
| 数据执行层 | 数据是否干净、分流是否真实 | 埋点校验、SRM检查、AA测试 | 可信实验数据集 |
| 增量分析层 | 提升是否显著、增量是多少 | 假设检验、置信区间、分层分析 | 增量报告与显著性结论 |
| 决策复盘层 | 是否上线、如何迭代、如何沉淀 | ROI评估、护栏指标、实验台账 | 上线/回滚建议与知识库 |
这四个层次不是孤立的。设计阶段决定了分析阶段能得出什么结论；执行阶段的数据质量决定了结论是否可信；分析阶段的严谨程度决定了决策阶段的风险大小。任何一层偷工减料，都会让最终结论失去参考价值。
四、方法流程：一次标准催收A/B测试的完整路径
下面以“新话术是否提升回款率”为例，展示标准流程。假设我们要测试一套更强调协商还款的话术，对照组使用现有话术。
- 明确假设：新话术在逾期30至60天客群中，能将7日回款率提升至少2个百分点。
- 确定指标：主指标为7日回款率，护栏指标为投诉率、平均通话时长、单案成本。
- 随机分流：以客户为单位随机分组，避免同一客户被多次触达造成污染。
- 计算样本量：根据基线回款率、最小可检测效应和显著性水平，估算每组所需样本。
- 执行实验：按分流规则触达，记录触达时间、结果、成本和投诉信息。
- 数据校验：检查分组比例是否偏离、是否存在数据缺失或重复。
- 增量分析：计算两组回款率差异、置信区间和p值，并进行分层分析。
- 形成结论：若显著为正且护栏指标正常，建议上线；否则迭代或放弃。
# 示例：两组回款率与增量计算
实验组：触达 5000 人，回款 625 人，回款率 = 12.5%
对照组：触达 5000 人，回款 550 人，回款率 = 11.0%
绝对增量 = 12.5% - 11.0% = 1.5 个百分点
相对增量 = 1.5% / 11.0% ≈ 13.6%
若单案成本增加 0.8 元，则需结合回款金额评估净增量收益。五、案例场景：一个容易被误判的“成功策略”
某催收团队在月初上线了一套更强硬的催收话术，月底发现回款率从10.2%提升到12.1%，团队认为策略非常成功。但复盘时发现：实验组被分配了更多高逾期天数客户，而这类客户本身回款意愿更高；同时，当月发薪日恰好集中在实验后期，自然回款本就上升。若不做对照和分层分析，这1.9个百分点的提升中，可能只有0.4个百分点来自话术本身，其余来自客群结构和时间因素。
警示：没有随机对照的实验结果，只能说明“相关”，不能说明“因果”。催收场景中，客群结构、账龄分布、发薪周期、节假日和外部政策都会显著影响回款，必须通过随机分组和同期对照来剥离这些干扰。
六、常见误区与学习建议
- 误区一：只看提升，不看显著性。小样本下的波动可能被误读为策略效果，必须结合置信区间判断。
- 误区二：实验周期过短。催收效果存在滞后性，7日回款和30日回款可能得出不同结论。
- 误区三：忽略护栏指标。回款率上升但投诉率翻倍，长期看可能损害机构声誉和合规安全。
- 误区四：实验组与对照组互相污染。同一客户被两种策略触达，会稀释真实效果。
- 误区五：只做一次实验就全面推广。单次实验结论受时间和客群限制，需多次验证后再规模化。
学习建议：本课程强调“边学边练”。每学完一个方法，建议你回到自己的业务数据中，尝试定义指标、设计分组、计算增量。只有把方法用在真实场景里，才能真正掌握催收策略实验与增量评估。
本章作为课程导入，已经勾勒出学习目标、核心价值、整体框架和典型误区。接下来，你将逐步进入实验设计、数据校验、统计分析和决策复盘的完整训练。请记住：催收策略的竞争，最终不是比谁的话术更狠，而是比谁更能用数据证明策略的真实增量。