📚 课程目录第1章 A/B测试基础概念

1.1 A/B测试基础概念

1.1.1 A/B测试定义

A/B测试（又称分桶测试、对照实验）是一种通过对比两个或多个版本（A为控制组/对照组，B为实验组/策略组）在真实用户流量下的表现差异，来验证某个假设或策略效果的统计方法。在金融场景中，A/B测试的核心逻辑是：在相同的时间窗口内，将用户随机分为两组，分别暴露于不同的产品策略或算法模型，通过关键指标（如转化率、坏账率、用户留存）的差异来判断新策略是否显著优于旧策略。

  核心公式： 效果提升 = (实验组指标 - 对照组指标) / 对照组指标 × 100%

  显著性判断：p值 < 0.05（或根据业务风险调整显著性水平）

1.1.2 金融领域的核心价值

金融行业对风险控制和收益优化有极高要求，A/B测试在以下四个维度提供不可替代的价值：

价值维度	传统做法	A/B测试做法	金融场景示例
风险控制	全量上线后观察坏账	小流量验证风险指标	新信用评分模型先对5%用户生效
收益优化	凭经验调整利率/额度	数据驱动定价策略	差异化利率对借款转化率的影响
用户体验	产品经理主观判断	用户行为数据验证	还款提醒文案点击率对比
合规审计	难以追溯决策依据	实验记录可回溯	监管要求解释模型变更影响

金融场景特别提示： 与电商A/B测试不同，金融A/B测试必须关注长周期风险指标（如逾期率、复借率），不能仅看短期转化率。一个提升借款转化率的策略，可能在3个月后导致坏账率飙升。

1.1.3 与传统假设检验的关系

A/B测试在方法论上完全基于传统假设检验框架，但针对金融场景做了工程化和业务化的适配。两者的核心对应关系如下：

假设检验要素	统计定义	A/B测试对应	金融场景实例
原假设 H₀	两组无差异	新策略效果 = 旧策略效果	新风控模型与旧模型坏账率相同
备择假设 H₁	两组存在显著差异	新策略效果 ≠ 旧策略效果	新模型坏账率显著低于旧模型
检验统计量	z值 / t值 / 卡方值	指标差异的标准化度量	转化率差异的z统计量
p值	H₀成立时观测到当前结果的概率	策略无效但误判为有效的风险	p < 0.05 认为模型显著优于旧版
置信区间	参数估计的波动范围	效果提升的上下界	坏账率降低 [0.3%, 1.2%]
样本量	达到统计功效所需的最小样本	实验流量预估	需要10万用户才能检测0.5%差异

1.1.4 金融A/B测试的独特挑战

样本稀缺性： 金融核心转化事件（如借款、投资）发生频率远低于电商点击，需要更长的实验周期或更大的流量池。
时间延迟效应： 信用风险往往在放款后30天、90天甚至更久才暴露，短期指标可能误导决策。
网络效应与干扰： 同一用户可能同时参与多个实验（如利率实验+额度实验），导致实验污染。
监管合规约束： 部分金融策略（如利率调整）不能对特定人群做歧视性实验，需确保公平性。

⚠️ 常见误区： 很多金融团队将A/B测试等同于"跑一个t检验"。实际上，金融A/B测试需要额外关注：
① 实验前进行样本量预估（避免流量不足导致假阴性）
② 实验中进行AA测试（验证分流均匀性）
③ 实验后关注多重比较校正（同时观察多个指标时的假阳性膨胀）

1.1.5 典型金融A/B测试流程

业务假设定义： "将信用评分阈值从600分降低到580分，借款转化率提升5%，同时坏账率上升不超过0.3%"
指标体系设计： 确定核心指标（转化率、坏账率）、辅助指标（平均借款金额、复借率）、监控指标（系统耗时、异常拒绝率）
实验设计： 计算所需样本量，确定分流比例（通常90%对照组 : 10%实验组），设定实验时长（至少覆盖一个完整还款周期）
分流与执行： 使用用户ID哈希或分层随机抽样，确保两组在历史风险分布上一致
数据收集与监控： 实时监控两组指标，设置早停规则（如实验组坏账率超过预设阈值立即停止）
统计分析： 计算p值、置信区间、效应量，进行稳健性检验（如Bootstrap、敏感性分析）
业务决策： 综合统计显著性和业务可接受风险，决定全量上线、灰度放量或回滚

实战建议： 在金融场景中，建议将统计显著性水平 α 设为 0.01（而非常规的0.05），以降低因误判导致的风险敞口。同时，始终保留一个"空跑"的AA对照组，用于检测分流系统是否存在系统性偏差。