📚 课程目录第1章阈值分层试验概述

1. 阈值分层试验概述

1.1 什么是阈值分层试验

阈值分层试验（Threshold Stratified Experiment）是一种通过设定多个决策阈值，将用户或样本划分为不同层级，并在每个层级内独立进行效果评估的试验方法。其核心思想是：不追求单一最优阈值，而是通过分层策略，在不同风险/价值区间内寻找局部最优决策边界。

核心公式： 分层收益 = Σ (层级权重 × 层级内试验效果)

与传统的“一刀切”式阈值设定不同，阈值分层试验允许数据驱动地探索多个候选阈值，并通过统计检验确定每个层级的最佳策略。这种方法特别适用于连续型决策变量（如信用评分、点击率预估分、购买概率）的优化场景。

1.2 典型应用场景

阈值分层试验在以下三个领域有广泛且成熟的应用：

领域	典型问题	分层阈值示例	试验目标
风控	信用评分卡阈值优化	评分 600/650/700/750	在坏账率与通过率之间取得平衡
营销	优惠券发放门槛	消费满 50/100/200 元	提升 ROI 与用户转化率
推荐系统	推荐物品截断阈值	推荐概率 0.3/0.5/0.7	平衡多样性、准确性与覆盖率

实践提示： 在风控场景中，阈值分层试验常用于“通过率-坏账率”的帕累托前沿搜索。例如，将信用评分按 50 分一个区间分层，在每个区间内测试不同的拒绝阈值，最终绘制出完整的风险-收益曲线。

1.3 与传统 A/B 测试的区别

阈值分层试验并非传统 A/B 测试的替代品，而是其在连续决策空间上的扩展。两者在试验设计、统计方法和业务目标上存在显著差异：

对比维度	传统 A/B 测试	阈值分层试验
决策变量	离散方案（A vs B）	连续阈值（多个切分点）
分组方式	随机均匀分组	按阈值分层 + 随机分配
统计检验	单一假设检验	多重比较 + 层级校正
输出结果	哪个方案更优	每个层级的最优阈值
适用场景	页面改版、文案测试	风控评分卡、定价策略

常见误区： 不要将阈值分层试验等同于“多组 A/B 测试”。传统多组测试只是比较多个离散方案，而阈值分层试验的核心在于利用阈值对样本进行结构性分层，使得每个层级内的样本在风险/价值上更加同质，从而提升试验的统计功效和决策精度。

1.4 阈值分层试验的流程框架

下图展示了阈值分层试验的完整流程，从业务问题定义到最终策略部署：

1.5 阈值分层试验的 SQL 实现思路

在本课程中，我们将使用 SQL 实现上述流程中的核心步骤。以下是一个典型的分层与试验分配 SQL 示例：

-- 示例：按信用评分分层并随机分配试验组
WITH user_scored AS (
  SELECT
    user_id,
    credit_score,
    CASE
      WHEN credit_score < 600 THEN '高风险层'
      WHEN credit_score BETWEEN 600 AND 699 THEN '中风险层'
      WHEN credit_score BETWEEN 700 AND 799 THEN '低风险层'
      ELSE '优质层'
    END AS risk_tier
  FROM user_profile
),
tier_assignment AS (
  SELECT
    user_id,
    risk_tier,
    -- 在每个层级内随机分配试验组
    CASE
      WHEN RAND() < 0.5 THEN '试验组'
      ELSE '对照组'
    END AS experiment_group
  FROM user_scored
)
SELECT
  risk_tier,
  experiment_group,
  COUNT(*) AS user_count
FROM tier_assignment
GROUP BY risk_tier, experiment_group
ORDER BY risk_tier, experiment_group;