📚 课程目录第4章样本设计与分组

4、样本设计与分组：实验组与对照组设计原则、PSM倾向性得分匹配、分层抽样方法

额度策略效果评估的核心在于构建一个可靠的“反事实”框架。我们需要回答一个关键问题：如果用户没有受到新额度策略的影响，其表现会如何？ 样本设计与分组正是为了模拟这个反事实场景，确保评估结果的因果性而非相关性。

  核心原则： 实验组（Treatment Group）与对照组（Control Group）必须在策略干预前，在关键特征（如风险等级、历史额度、消费行为）上保持统计意义上的“同质”。唯一的差异是：实验组接受了新额度策略，而对照组维持旧策略或未受干预。

一个严谨的AB实验设计是额度策略评估的黄金标准。以下是必须遵循的四大设计原则：

原则	描述	常见误区
随机化	将符合条件的用户随机分配到实验组和对照组，消除已知和未知的混杂变量。	按“先来后到”或“用户ID奇偶”分组，导致两组在活跃度或风险上天然不均衡。
样本独立性	同一用户不能同时出现在实验组和对照组中；用户之间不应相互干扰（如社交传播影响）。	同一设备多账号、或家庭组用户被分到不同组，造成“污染”。
样本量充足	根据预期效果大小（如额度提升后逾期率上升0.5%），计算所需最小样本量，确保统计功效。	样本量过小导致无法检测出真实差异，或出现“假阳性”。
实验周期完整	覆盖完整的业务周期（如一个账单周期、一次还款日），避免因时间截断导致效果偏差。	只观察一周数据，忽略了用户在下个账单日的集中逾期表现。

实操建议： 在额度策略上线前，建议先进行为期1-2周的“影子实验”（Shadow Test），即只记录策略决策但不实际生效，用于验证分组逻辑和样本量是否合理。

当无法进行随机化实验（如策略已全量上线、或监管要求不能随机拒绝用户）时，PSM（Propensity Score Matching）是构建对照组的首选准实验方法。其核心思想是：通过计算每个用户接受策略干预的“倾向性得分”，然后为实验组用户匹配一个得分最接近的对照组用户。

PSM实施四步流程：

选择协变量： 选取影响“是否被提额”和“未来表现”的特征，如历史逾期次数、近6个月平均使用额度、收入水平、负债率等。
估计倾向得分： 使用Logistic回归或机器学习模型，以“是否被干预（1/0）”为因变量，协变量为自变量，预测每个用户的倾向得分P(X)。
匹配： 采用最近邻匹配（1:1或1:N）、卡尺匹配（设定得分差值上限）或核匹配等方法，为每个实验组用户找到对照组。
平衡性检验： 匹配后，检查两组在协变量上的标准化均值差异（Standardized Mean Difference, SMD）是否小于0.1，确保匹配效果。

PSM 使用警告： PSM 只能消除可观测的混杂变量。如果存在未观测到的混杂因素（如用户的人脉关系、隐藏的欺诈意图），PSM 仍会产生偏差。此时可考虑双重差分法（DID）或工具变量法（IV）作为补充。

分层抽样（Stratified Sampling）是额度策略评估中提升样本代表性的关键技术。它先将总体按关键特征（层）划分，然后在每个层内独立进行随机抽样或分组。

为什么需要分层？

分层抽样实施步骤：

步骤	操作内容	示例（额度策略评估）
1. 确定分层变量	选择与策略效果强相关的1-3个变量，层数不宜过多（通常3-5层）。	分层变量：风险等级（低/中/高）+ 历史额度区间（低/中/高）
2. 划分层	根据变量交叉或分位数，将总体划分为互不重叠的子集。	共 3×3 = 9 个层：如“低风险-低额度”、“低风险-中额度”……
3. 计算各层样本量	按比例分配（各层样本量占比与总体占比一致）或最优分配（方差大的层多抽）。	“低风险-低额度”层占总体20%，则实验组+对照组在该层也占20%样本。
4. 层内随机分组	在每个层内独立进行随机化，分配至实验组和对照组。	在“高风险-高额度”层内，随机抽取50%用户进入实验组，50%进入对照组。
5. 合并与验证	将各层分组结果合并，检查整体分组比例是否接近预设值。	验证实验组与对照组在风险等级、额度区间上的分布是否一致。

分层 vs PSM 选择建议：