3. A/B测试基础概念：假设检验、对照组与实验组、随机化原则
A/B测试在金融风控中并非简单的“比一比哪个策略好”，而是一套严谨的统计推断框架。其核心在于通过控制变量、对比实验和概率计算，科学地量化策略变更带来的真实效果，排除偶然因素的干扰。本节将拆解支撑A/B测试的三大基石：假设检验、对照组与实验组、随机化原则。
3.1 假设检验：用数据做决策的统计框架
假设检验是A/B测试的“裁判员”。它基于小概率反证法思想，先对总体参数提出一个假设（原假设），然后利用样本数据计算统计量，判断该假设是否成立。在金融风控场景中，我们通常关心的是新策略（如新的信用评分模型）是否显著优于旧策略。
核心逻辑： 如果实验组与对照组的差异在统计上显著（p值 < 显著性水平α），则拒绝原假设，认为新策略有效；否则，不能拒绝原假设，认为差异可能由随机波动引起。
假设检验的完整流程包含以下五个步骤：
- 提出假设： 设定原假设（H₀）和备择假设（H₁）。例如，H₀：新模型与旧模型的坏账率无差异；H₁：新模型的坏账率低于旧模型。
- 选择检验统计量： 根据数据类型和分布，选择合适的统计量（如z统计量、t统计量、卡方统计量）。
- 确定显著性水平（α）： 通常取0.05或0.01，代表允许犯“弃真错误”的最大概率。
- 计算p值： 在H₀成立的前提下，观测到当前样本结果（或更极端结果）的概率。
- 做出决策： 若p值 < α，拒绝H₀；否则，不拒绝H₀。
| 错误类型 | 定义 | 金融风控场景举例 | 控制方法 |
|---|---|---|---|
| 第一类错误（α） | 原假设为真，但错误地拒绝了它（假阳性） | 新模型实际上无效，却误判为有效，导致上线后坏账率未改善 | 降低显著性水平α（如从0.05降至0.01） |
| 第二类错误（β） | 原假设为假，但错误地接受了它（假阴性） | 新模型实际上有效，却误判为无效，错失了降低风险的机会 | 增加样本量、提高效应量 |
统计功效（Power = 1 - β）： 在金融风控A/B测试中，统计功效通常要求达到80%以上。这意味着如果新策略确实有效，我们有80%的把握通过假设检验发现它。样本量不足是导致统计功效低下的常见原因。
3.2 对照组与实验组：因果推断的“双胞胎”
对照组与实验组是A/B测试的“左右手”。其核心思想是：除了待验证的策略变量外，两组在所有其他方面（用户特征、时间窗口、数据来源等）都应尽可能保持一致。这样，两组在实验期间表现出的差异，才能被归因于策略变更本身，而非其他混杂因素。
- 对照组（Control Group）： 维持现有策略（如旧风控模型、现有审批流程），作为比较的基准线。
- 实验组（Treatment Group）： 应用新策略（如新模型、新规则），是待验证的对象。
金融风控中的常见陷阱： 对照组与实验组必须保持“同期”对比。使用历史数据作为对照组（如“上个月的数据”）是极其危险的，因为时间效应（如节假日、宏观经济变化、数据分布漂移）会严重污染实验结果，导致错误的结论。
| 设计要素 | 要求 | 金融风控实践建议 |
|---|---|---|
| 样本独立性 | 同一用户不能同时出现在两组 | 按用户ID哈希分流，确保用户级互斥 |
| 样本量分配 | 通常1:1，也可根据方差调整 | 若预期效应量小，可适当增大实验组比例（如6:4） |
| 实验周期 | 覆盖完整业务周期 | 至少包含一个完整的“申请-审批-放款-首期还款”周期 |
| 指标一致性 | 两组使用相同的指标定义和计算口径 | 坏账率、通过率、逾期率等指标必须统一 |
3.3 随机化原则：消除偏差的“公平秤”
随机化是A/B测试的灵魂。它通过将实验单元（用户、申请、交易）随机分配到对照组或实验组，确保两组在所有已知和未知的混杂因素上达到统计平衡。没有随机化，A/B测试就退化为简单的“前后对比”，无法建立因果联系。
随机化的价值： 在金融风控中，用户的信用资质、收入水平、地域分布等特征千差万别。随机化可以保证这些特征在两组中的分布大致相同，从而让策略差异成为唯一可能的解释变量。
常见的随机化方法包括：
- 简单随机化： 使用随机数生成器或哈希函数，为每个实验单元分配一个随机数，根据阈值决定分组。适用于样本量较大的场景。
- 分层随机化： 先按关键特征（如风险等级、产品类型）分层，再在每层内进行随机化。适用于样本量较小或关键特征对结果影响巨大的场景。
- 区组随机化： 将实验单元按时间或批次分成区组，在每个区组内进行随机化。适用于流量随时间波动较大的场景。
3.4 三者关系：从理论到实践的闭环
假设检验、对照组与实验组、随机化原则三者并非孤立存在，而是构成了一个完整的实验闭环：
- 随机化 保证了对照组与实验组的可比性，为因果推断奠定基础。
- 对照组与实验组 提供了差异化的策略环境，是观察和测量变化的载体。
- 假设检验 提供了量化判断的标准，告诉我们观察到的差异是否具有统计显著性，而非随机波动。
金融风控实战口诀： “随机分流保公平，同期对照消时间，假设检验定真伪。” 任何偏离这三条原则的“A/B测试”，本质上都只是带有偏见的观察性分析，其结论在金融风控这种高风险场景中不可轻信。