📚 课程目录第2章 A/B测试核心概念

2. A/B测试核心概念：实验组与对照组、随机化分配、假设检验、统计显著性、置信区间

在风控策略的A/B测试中，理解核心概念是设计严谨实验、得出可靠结论的基础。本章将逐一拆解这些概念，并说明它们在风控场景下的具体含义与应用。

2.1 实验组与对照组

任何A/B测试的核心都是比较。我们通过设置两个或更多组别来观察策略变更带来的差异。

对照组 (Control Group)：维持现有风控策略不变的用户群体。它是实验的基准线，代表“不做任何改变”的结果。
实验组 (Treatment Group)：应用新风控策略的用户群体。实验组可以有一个或多个，分别对应不同的策略变体。

风控场景提示： 在风控中，对照组通常使用当前线上运行的模型或规则集。实验组则应用新开发的模型、调整后的阈值或新的规则组合。两组之间的唯一区别应该是待测试的策略变量。

下表总结了实验组与对照组在风控A/B测试中的典型对比：

维度	对照组	实验组
策略	现有风控策略（基线）	新风控策略（变体）
目的	提供比较基准	验证新策略效果
风险	已知风险水平	未知风险水平（可能更好或更差）
样本要求	通常与实验组样本量相当或更大	需满足统计功效计算的最小样本量

2.2 随机化分配

随机化分配是A/B测试的基石。它确保每个用户被分配到实验组或对照组的概率相同，从而在理想情况下，两组在除策略外的所有特征（如年龄、收入、历史行为）上都是可比的。

随机化的核心目的是消除选择偏差 (Selection Bias)，使得观察到的效果差异可以归因于策略本身，而非用户群体的固有差异。

随机化方法示例：

import hashlib
import random

def assign_group(user_id, experiment_id, split_ratio=0.5):
    """
    基于用户ID和实验ID进行确定性随机分组。
    确保同一用户在同一实验中始终被分到同一组。
    """
    hash_input = f"{user_id}_{experiment_id}"
    hash_value = int(hashlib.md5(hash_input.encode()).hexdigest(), 16)
    # 将哈希值映射到 [0, 1) 区间
    normalized = (hash_value % 10000) / 10000.0
    if normalized < split_ratio:
        return "treatment"
    else:
        return "control"

# 示例
user = "user_12345"
experiment = "exp_model_v2"
group = assign_group(user, experiment, split_ratio=0.5)
print(f"用户 {user} 被分配到: {group}")

在风控场景中，随机化通常基于用户ID、设备ID或订单ID进行。需要特别注意避免在实验期间改变用户的分配组别，以保证实验的纯洁性。

2.3 假设检验

假设检验是统计学中用于判断观察到的差异是否真实存在（而非由随机波动引起）的框架。在A/B测试中，我们通常建立两个对立的假设：

零假设 (H₀)：实验组与对照组的核心指标（如逾期率、通过率）没有差异。即新策略无效。
备择假设 (H₁)：实验组与对照组的核心指标存在显著差异。即新策略有效（可能更好或更差）。

假设检验的过程就是收集数据，计算一个检验统计量，然后判断在零假设为真的前提下，观察到当前结果（或更极端结果）的概率有多大。如果这个概率很小，我们就拒绝零假设，认为新策略确实产生了影响。

风控中的常见误区： 不要只关注指标“变好了”就上线新策略。必须通过假设检验确认这种“变好”在统计上是显著的，而不是由随机波动或短期数据异常造成的。

2.4 统计显著性

统计显著性通常用 p值 (p-value) 来衡量。p值表示在零假设为真的情况下，观察到样本数据中出现的差异（或更极端差异）的概率。

显著性水平 (α)：我们设定的一个阈值，通常为0.05或0.01。它代表我们愿意承担“错误地拒绝零假设”的风险（即第一类错误）。
判断规则：如果 p值 < α，则结果在统计上显著，我们拒绝零假设，认为新策略有效。如果 p值 ≥ α，则结果不显著，我们无法拒绝零假设，认为没有足够证据表明新策略有效。

下表展示了不同显著性水平下的决策含义：

p值范围	统计显著性	对零假设的决策	风控含义
p < 0.01	高度显著	强烈拒绝 H₀	新策略效果非常明显，几乎不可能是随机波动
0.01 ≤ p < 0.05	显著	拒绝 H₀	新策略有效，但需结合业务影响评估
0.05 ≤ p < 0.10	边缘显著	无法拒绝 H₀	证据不足，可能需要扩大样本量或延长实验
p ≥ 0.10	不显著	无法拒绝 H₀	新策略与基线无显著差异，不建议上线

2.5 置信区间

置信区间 (Confidence Interval, CI) 提供了一个范围，我们相信总体参数（如实验组与对照组的指标差异）的真实值落在这个范围内。它比单一的p值提供了更丰富的信息。

95%置信区间：意味着如果我们重复实验100次，大约有95次计算出的置信区间会包含真实的总体差异值。
区间宽度：区间越窄，说明我们对真实效果的估计越精确。样本量越大，置信区间通常越窄。

在风控A/B测试中，置信区间帮助我们理解新策略效果的可能范围。例如，如果新策略使逾期率降低了0.3%，95%置信区间为[-0.5%, -0.1%]，这意味着我们有95%的信心认为真实降低幅度在0.1%到0.5%之间。如果区间包含0（如[-0.1%, 0.3%]），则说明效果可能为0，结果不显著。

2.6 核心概念在风控决策中的应用

理解这些概念后，我们可以构建一个完整的决策流程：

设计实验：明确对照组和实验组，通过随机化分配用户。
收集数据：运行实验，收集两组的关键风控指标（如逾期率、欺诈率、通过率）。
执行假设检验：计算p值，判断结果是否具有统计显著性。
评估效果范围：计算置信区间，理解新策略效果的潜在上下限。
做出决策：结合统计显著性和置信区间，以及业务成本与收益，决定是否全量上线新策略。

风控决策示例：

# 假设实验组逾期率 2.8%，对照组逾期率 3.5%
# 计算得到 p-value = 0.003，95% CI = [-1.1%, -0.3%]

# 决策逻辑
p_value = 0.003
alpha = 0.05
ci_lower = -1.1
ci_upper = -0.3

if p_value < alpha:
    print("结果统计显著，拒绝零假设。")
    if ci_upper < 0:
        print(f"新策略显著降低逾期率，降低幅度在 {ci_lower}% 到 {ci_upper}% 之间。")
        print("建议：评估业务影响后，考虑全量上线。")
    else:
        print("新策略效果方向不确定，需进一步分析。")
else:
    print("结果不显著，无法拒绝零假设。")
    print("建议：保持现有策略，或优化新策略后重新实验。")

掌握这些核心概念，是进行严谨、可靠的风控策略A/B测试的第一步。它们共同构成了从实验设计到结果解读的完整逻辑链条，确保我们的策略迭代建立在数据与统计证据之上，而非直觉或偶然。