4. 灰度实验设计原则：实验组与对照组划分、随机分流策略、样本量计算、实验周期设定

灰度实验是额度模型从离线验证走向全量上线前的关键验证环节。一个设计严谨的灰度实验，能够帮助数据科学家在真实业务流量中，科学地评估新模型相对于旧模型的效果提升，并有效控制潜在风险。本章将系统讲解灰度实验设计的四大核心原则。

4.1 实验组与对照组划分

实验组与对照组的划分是灰度实验的基石。其核心目标是确保两组在实验开始前，除模型策略不同外，其他所有特征（如用户资质、历史行为、渠道来源）在统计上无显著差异。

常见的划分方式有两种：

4.2 随机分流策略

随机分流是保证实验组与对照组可比性的技术手段。常用的随机分流策略包括哈希取模法和分层随机抽样。

4.2.1 哈希取模法

这是工业界最常用的方法。通过对用户ID或设备ID进行哈希运算，然后对分流比例（如100）取模，将结果映射到实验组或对照组。

import hashlib

def assign_group(user_id: str, total_buckets: int = 100, experiment_buckets: int = 10) -> str:
    """
    基于用户ID进行哈希取模分流。
    :param user_id: 用户唯一标识
    :param total_buckets: 总桶数，通常为100
    :param experiment_buckets: 实验组桶数，例如10代表10%流量
    :return: 'experiment' 或 'control'
    """
    hash_value = int(hashlib.md5(user_id.encode('utf-8')).hexdigest(), 16)
    bucket = hash_value % total_buckets
    return 'experiment' if bucket < experiment_buckets else 'control'

# 示例：10%流量进入实验组
print(assign_group('user_12345', total_buckets=100, experiment_buckets=10))

4.2.2 分层随机抽样

当某些关键特征（如用户信用分、额度区间）对模型效果影响较大时，可先按这些特征分层，再在每层内进行随机分配。这能有效降低组间差异。

下图展示了两种分流策略的流程对比：

4.3 样本量计算

样本量不足会导致实验无法检测到真实的模型效果差异（统计功效不足），而样本量过大则会造成流量浪费。样本量计算通常基于以下参数：

• 显著性水平 (α)：通常设为 0.05，表示有 5% 的概率错误地拒绝原假设（假阳性）。
• 统计功效 (1-β)：通常设为 0.80，表示有 80% 的概率检测到真实存在的差异。
• 最小可检测效应 (MDE)：你希望检测到的最小效果提升，例如逾期率降低 0.5%。
• 基线转化率：对照组（旧模型）的核心指标值，例如当前通过率或逾期率。

对于额度模型，核心指标通常是“通过率”或“逾期率”。以下是计算每组所需样本量的简化公式（基于两样本比例检验）：

import math

def calculate_sample_size(baseline_rate: float, mde: float, alpha: float = 0.05, power: float = 0.80) -> int:
    """
    计算每组所需的最小样本量（基于比例检验）。
    :param baseline_rate: 对照组基线转化率
    :param mde: 最小可检测效应（绝对值）
    :param alpha: 显著性水平
    :param power: 统计功效
    :return: 每组所需样本量
    """
    z_alpha = 1.96  # 对应 alpha=0.05
    z_beta = 0.84   # 对应 power=0.80
    p_pooled = baseline_rate + mde / 2
    numerator = (z_alpha * math.sqrt(2 * p_pooled * (1 - p_pooled)) + z_beta * math.sqrt(baseline_rate * (1 - baseline_rate) + (baseline_rate + mde) * (1 - baseline_rate - mde))) ** 2
    denominator = mde ** 2
    return math.ceil(numerator / denominator)

# 示例：基线通过率60%，期望检测到提升2%
sample_size = calculate_sample_size(baseline_rate=0.60, mde=0.02)
print(f"每组所需最小样本量: {sample_size}")

4.4 实验周期设定

实验周期过短，可能无法观察到完整的用户行为周期（如还款行为）；周期过长，则可能延误模型上线时机。设定实验周期需考虑以下因素：

下图展示了灰度实验的完整周期设计：