4. 实验设计原则：随机化分配、分流策略与样本污染规避

授信决策引擎的 A/B 测试并非简单的流量切分，其核心在于通过严谨的实验设计，确保实验组与对照组在统计意义上具有可比性，从而将策略效果的差异归因于策略本身，而非外部干扰。本章围绕随机化分配、分流策略、样本污染与网络效应三大核心原则展开。

4.1 随机化分配：实验的基石

随机化分配是消除选择偏差、保证组间协变量均衡的唯一手段。在授信场景中，用户的风险特征（如收入、征信分、多头借贷数）在实验前应近似相等。

• 个体随机化：每个用户独立、等概率地被分配至实验组或对照组。适用于用户间无交互、策略效果独立的场景。
• 聚类随机化：以群体（如渠道、地域、商户）为单位进行随机分配。适用于策略存在网络效应或溢出效应的场景。

4.2 分流策略：用户 ID 哈希与分层抽样

分流策略决定了如何将用户流量稳定、可复用地分配到实验组与对照组。常用的方法包括用户 ID 哈希与分层抽样。

4.2.1 用户 ID 哈希分流

基于用户唯一标识（如用户 ID、设备 ID）进行哈希运算，将哈希值映射到实验空间。该方法具有确定性：同一用户始终进入同一实验组，保证实验一致性。

# 用户 ID 哈希分流示例（Python 伪代码）
import hashlib

def assign_group(user_id: str, experiment_id: str, split_ratio: float = 0.5) -> str:
    # 组合用户 ID 与实验 ID 避免跨实验干扰
    key = f"{user_id}:{experiment_id}"
    hash_val = int(hashlib.md5(key.encode()).hexdigest(), 16)
    # 映射到 [0, 1) 区间
    normalized = (hash_val % 10000) / 10000
    return "treatment" if normalized < split_ratio else "control"

4.2.2 分层抽样

在用户 ID 哈希的基础上，引入分层变量（如信用评分区间、历史逾期标签、渠道来源），确保每个层内实验组与对照组样本量比例一致。分层抽样能显著降低组间差异，提升统计功效。

4.3 避免样本污染

样本污染是指实验组与对照组之间发生非预期的交互，导致组间差异被稀释或扭曲。在授信场景中，常见污染源包括：

• 跨组用户重叠：同一用户因多设备、多账号被分配到不同组。
• 策略泄露：实验组策略通过客服、渠道代理等途径被对照组用户知晓。
• 数据管道延迟：实验组用户的行为数据延迟流入对照组分析窗口。

4.4 网络效应与溢出效应

网络效应是指实验组用户的策略变化影响到对照组用户的行为。在授信场景中，典型网络效应包括：

应对策略：

• 采用聚类随机化（以社交圈、地域为聚类单位）。
• 设置隔离期（washout period），在实验开始前清空历史策略残留影响。
• 使用“实验组-对照组-纯对照组”三组设计，纯对照组完全不接触任何新策略，用于检测网络效应大小。

4.5 实验设计检查清单

在启动授信决策引擎 A/B 测试前，建议逐项确认以下要点：

1. 随机化单元：是否以用户 ID 为最小随机化单元？是否存在多账号关联？
2. 分流稳定性：哈希函数是否确定？同一用户在不同时间点是否进入同一组？
3. 分层变量：是否对核心风险变量进行了分层？分层变量是否在实验前后保持稳定？
4. 污染检测：是否设置了污染监控指标（如对照组异常流量、跨组用户比例）？
5. 网络效应评估：是否设计了纯对照组或空间隔离组来量化网络效应？
6. 样本量计算：是否基于最小可检测效应（MDE）计算了所需样本量？