2. A/B测试基础原理：假设检验、控制组与实验组、随机化原则、统计显著性
在贷后预警场景中，A/B测试是验证策略效果的核心工具。本章将系统讲解支撑A/B测试的四大基础原理，帮助你在设计实验时建立严谨的统计学思维。
2.1 假设检验：从业务问题到统计决策
假设检验是A/B测试的统计引擎。它的本质是：先假设新策略无效（零假设），然后通过实验数据判断是否有足够证据推翻这个假设。
| 术语 | 符号 | 贷后预警示例 |
|---|---|---|
| 零假设 | H₀ | 新预警策略与旧策略的逾期率无差异 |
| 备择假设 | H₁ | 新预警策略的逾期率显著低于旧策略 |
| 第一类错误 | α（显著性水平） | 错误地认为新策略有效，实际无效（误报） |
| 第二类错误 | β | 错误地认为新策略无效，实际有效（漏报） |
| 检验功效 | 1 - β | 当新策略确实有效时，实验能正确检测出的概率 |
贷后场景提示：在贷后预警A/B测试中，通常将α设为0.05（5%），意味着有5%的风险误判策略有效。对于高风险资产，建议将α收紧至0.01以降低误报成本。
2.2 控制组与实验组：构建对比基准
A/B测试的核心是对比。控制组（旧策略）提供基准表现，实验组（新策略）展示干预效果。两组必须同时运行，且仅策略本身不同。
关键原则：两组必须同时运行，避免时间因素（如节假日、政策变化）干扰。贷后场景中，控制组不应少于总样本的30%，以保证统计稳定性。
2.3 随机化原则：消除选择偏差
随机化是A/B测试的基石。它确保每个客户被分配到控制组或实验组的概率相等，从而平衡已知和未知的混杂因素。
随机化的三大作用
- 消除选择偏差：避免人为将高风险客户集中到某一组
- 平衡混杂变量：年龄、收入、历史逾期等特征在两组间均匀分布
- 保证统计推断有效：使组间差异可归因于策略本身
贷后场景的随机化实现方式
| 方法 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| 简单随机 | 客户量 > 10万 | 实现简单，理论完备 | 小样本可能不平衡 |
| 分层随机 | 客户量 > 1万，有已知风险分层 | 保证各风险层内均衡 | 需要预先定义分层变量 |
| 区组随机 | 客户量 < 1万，或分批上线 | 保证时间维度上的均衡 | 实现复杂度较高 |
常见陷阱：不要按客户经理或催收团队分组！不同团队的执行力差异会污染实验结果。始终以客户个体为随机化单元。
2.4 统计显著性：判断结果是否可信
统计显著性回答一个问题：观察到的组间差异是真实效果，还是随机波动？
核心指标
- P值：在零假设为真的前提下，观察到当前结果（或更极端结果）的概率。P < 0.05 通常认为统计显著。
- 置信区间：真实效果差异的估计范围。95%置信区间不包含0，则显著。
- 效应量：实际差异的大小，如逾期率降低1.1个百分点。
贷后场景的显著性阈值建议
| 业务场景 | 建议α值 | 理由 |
|---|---|---|
| 低风险产品（如信用卡） | 0.05 | 误报成本较低，可接受5%的误判风险 |
| 高风险产品（如现金贷） | 0.01 | 误报导致坏账增加，需更严格的标准 |
| 监管合规类策略 | 0.005 | 涉及合规风险，需极高置信度 |
实战建议：在贷后预警A/B测试中，除了关注P值，还应关注最小可检测效应量（MDE）。MDE决定了实验需要的最小样本量。通常，我们希望检测到0.5%~1%的逾期率变化，这需要每组至少5万~10万客户。
2.5 四大原理的协同关系
假设检验、控制组与实验组、随机化原则、统计显著性并非孤立概念，它们共同构成A/B测试的完整框架：
- 随机化保证控制组和实验组具有可比性
- 控制组与实验组提供对比基准
- 假设检验提供统计推断的理论框架
- 统计显著性提供决策的量化标准
在贷后预警场景中，这四个原理缺一不可。缺少随机化会导致选择偏差；缺少控制组无法量化效果；缺少假设检验和显著性判断，则无法区分真实效果与随机波动。