实验分组策略：随机分流、分层抽样、用户ID哈希分桶

实验分组是A/B测试的基石。分组策略决定了实验组与对照组是否具备同质性——即两组在实验开始前，除待测策略外，其他特征（如交易量、风险率、用户画像）应尽可能一致。若分组有偏，测试结论将不可信。

支付风控场景下，常用的分组策略有三种：随机分流、分层抽样、用户ID哈希分桶。每种策略的适用场景、优缺点各不相同。

1. 随机分流（Simple Random Split）

将全体用户或交易按固定比例（如50%/50%）随机分配到实验组与对照组。这是最基础的分组方式，依赖大数定律保证两组特征均衡。

• 优点：实现简单，计算开销小；样本量足够大时，两组自然同质。
• 缺点：小样本或高维特征下，可能偶然出现组间差异；无法保证关键指标（如高价值用户、高风险商户）在两组中均匀分布。
• 适用场景：用户量级大（百万级以上）、实验周期长、对分组精度要求不极端苛刻的场景。

2. 分层抽样（Stratified Sampling）

先按关键特征（如用户等级、交易金额区间、风险评分）将总体划分为若干层，再在每一层内独立随机分配实验组与对照组。分层后，每层内的样本同质性更高，整体组间差异更小。

• 优点：显著降低组间差异，提升统计功效；对关键指标的保护性好。
• 缺点：需要事先确定分层变量，分层过多可能导致某些层样本过少；实现复杂度高于简单随机。
• 适用场景：用户分层明显、关键指标波动大、实验样本量中等（十万至百万级）的场景。

3. 用户ID哈希分桶（Hash-based Bucketing）

对用户ID（或设备ID、交易ID）进行哈希运算，将哈希值映射到固定数量的桶中，再按桶号分配实验组与对照组。哈希分桶具有确定性：同一用户每次实验都会被分到同一组，避免跨实验的污染。

# 示例：用户ID哈希分桶伪代码
def assign_group(user_id, total_buckets=100, treatment_ratio=0.5):
    bucket = hash(user_id) % total_buckets
    if bucket < total_buckets * treatment_ratio:
        return "treatment"
    else:
        return "control"

• 优点：确定性分组，用户不会在不同实验间跳组；实现简单，适合大规模分布式系统；支持离线回溯实验。
• 缺点：哈希碰撞可能导致分组比例轻微偏差；无法像分层抽样那样主动控制关键特征分布。
• 适用场景：需要长期追踪同一用户、多实验并行、用户量级极大（千万级以上）的场景。

4. 保证实验组与对照组同质性

无论采用哪种分组策略，实验开始前必须验证两组在关键指标上是否统计无差异。常用验证方法包括：

• 均值差异检验：对连续型指标（如交易金额、登录次数）做t检验或Mann-Whitney U检验。
• 比例差异检验：对分类指标（如性别、是否高风险）做卡方检验。
• 标准化均值差（SMD）：计算两组均值的差异除以合并标准差，SMD < 0.1 通常认为同质。

分组策略对比总览

分组策略选择流程图