📚 课程目录第3章实验假设构建

3、实验假设构建：零假设与备择假设、催收场景下的假设设定方法、常见假设错误

A/B 测试的核心是假设检验。在催收场景中，我们不是凭感觉判断“新话术是否有效”，而是通过统计方法，用数据来拒绝或接受一个明确的假设。错误的假设设定会导致整个实验失去意义，甚至得出误导性结论。

任何假设检验都包含两个互斥的假设：

假设类型	符号	含义	催收场景示例
零假设（原假设）	H₀	无差异、无效果、现状成立。通常是我们希望推翻的假设。	“新催收话术的还款率与旧话术相同。”
备择假设（对立假设）	H₁ 或 Hₐ	存在差异、有效果、有变化。通常是我们希望证明的假设。	“新催收话术的还款率高于旧话术。”

  核心逻辑：我们通过收集实验数据，计算在 H₀ 为真的前提下，观察到当前结果（或更极端结果）的概率（即 p 值）。如果 p 值小于预设的显著性水平（通常 α=0.05），我们就拒绝 H₀，接受 H₁。

催收实验的假设必须具体、可测量、与业务指标强相关。错误的假设往往源于对业务逻辑的模糊理解。

检验类型	备择假设方向	催收适用场景	示例
双尾检验	H₁: μ₁ ≠ μ₂（有差异，但方向未知）	探索性实验，不确定新策略是更好还是更差	“新评分模型与旧模型的逾期预测准确率不同。”
单尾检验（右尾）	H₁: μ₁ > μ₂（新策略更好）	有明确方向性，预期新策略提升指标	“新催收话术的首期还款率高于旧话术。”
单尾检验（左尾）	H₁: μ₁ < μ₂（新策略更差）	验证新策略是否导致指标下降（如投诉率）	“新催收策略的客户投诉率低于旧策略。”

催收建议：大多数催收优化实验（如提升还款率、降低投诉率）都有明确的方向，优先使用单尾检验。单尾检验的统计功效更高，更容易检测出效果。但如果你不确定新策略的方向（例如测试一种全新的催收模式），请使用双尾检验。

  正确示例：

  业务目标：验证“AI 外呼+人工跟进”策略是否能提升 3 日内的联系率。

  H₀：实验组（AI+人工）的 3 日联系率 ≤ 对照组（纯人工）的 3 日联系率。

  H₁：实验组（AI+人工）的 3 日联系率 > 对照组（纯人工）的 3 日联系率。

在催收 A/B 测试中，以下假设错误最为常见，需要特别注意避免：

错误类型	错误示例	问题分析	正确做法
1. 假设过于模糊	“新策略效果更好。”	未定义“效果”的具体指标，无法量化检验。	明确指标：“新策略的 7 日还款率更高。”
2. 方向设定错误	使用双尾检验验证“新话术提升还款率”。	双尾检验会降低统计功效，增加样本量需求。	有明确方向时使用单尾检验（H₁: μ₁ > μ₂）。
3. 零假设与备择假设不互斥	H₀: 还款率相同；H₁: 还款率提升 5%。	备择假设指定了具体提升幅度，与零假设不构成互补。	H₁: 还款率不同（双尾）或 H₁: 还款率更高（单尾）。
4. 混淆统计显著性与实际显著性	“p < 0.05，所以新策略一定有效。”	统计显著不代表效果有业务价值（如提升 0.1%）。	同时关注效应量（Effect Size）和业务意义。
5. 忽略多重比较问题	同时测试 10 个指标，每个都做假设检验。	多重比较会增加犯 I 类错误（假阳性）的概率。	使用 Bonferroni 校正或 FDR 控制，或指定主要指标。

⚠️ 催收场景特别警示：不要将“零假设未被拒绝”等同于“新策略无效”。这可能是样本量不足、实验周期太短或指标波动过大导致的。在催收中，一个策略可能需要数周才能显现效果，尤其是涉及还款意愿和还款能力的长期指标。

案例背景：某催收团队想测试“短信提醒+AI 外呼”是否比“仅短信提醒”更能提升逾期 1-3 天客户的还款率。

错误假设：

H₀: 实验组还款率 = 对照组还款率
H₁: 实验组还款率 ≠ 对照组还款率

问题：团队预期新策略会提升还款率，却使用了双尾检验。同时，未定义“还款率”的具体时间窗口（是 1 天、3 天还是 7 天？）。

修正后假设：

H₀: 实验组（短信+AI外呼）的 3 日还款率 ≤ 对照组（仅短信）的 3 日还款率
H₁: 实验组（短信+AI外呼）的 3 日还款率 > 对照组（仅短信）的 3 日还款率

修正后的假设明确了方向（单尾右尾）、指标（3 日还款率）和比较对象，为后续实验设计和分析奠定了正确基础。