3. A/B测试基础概念：假设检验、控制组与实验组、随机化原则、统计显著性
A/B测试在额度定价中的应用，本质上是科学实验在金融风控场景的落地。要确保测试结果可信、可复现，必须掌握四个核心基础概念：假设检验、控制组与实验组、随机化原则、统计显著性。下面逐一拆解。
3.1 假设检验
假设检验是A/B测试的统计骨架。在额度定价场景中，我们通常需要验证“新定价策略是否显著优于旧策略”。
- 原假设（H₀）：新策略与旧策略在核心指标（如响应率、坏账率）上无差异。
- 备择假设（H₁）：新策略与旧策略存在显著差异（或新策略更优）。
额度定价示例：
H₀：新额度方案的用户逾期率 ≤ 旧方案逾期率
H₁：新额度方案的用户逾期率 > 旧方案逾期率（需拒绝H₀才能证明新方案风险更高）
H₀：新额度方案的用户逾期率 ≤ 旧方案逾期率
H₁：新额度方案的用户逾期率 > 旧方案逾期率（需拒绝H₀才能证明新方案风险更高）
通过收集实验数据，计算检验统计量（如t值、z值），再根据p值决定是否拒绝原假设。p值越小，拒绝H₀的证据越充分。
3.2 控制组与实验组
这是A/B测试的基本分组结构。在额度定价实验中，两组唯一的区别就是额度定价策略。
| 分组 | 定义 | 额度定价场景示例 |
|---|---|---|
| 控制组（对照组） | 保持现有策略不变，作为基准参照 | 沿用当前信用评分卡给出的额度 |
| 实验组（处理组） | 施加新的定价策略，观察效果 | 使用新模型或新规则上调/下调额度 |
关键原则：两组除实验变量（额度定价）外，其他所有条件（客群、渠道、时间窗口、风控规则）必须保持一致，否则无法归因。
3.3 随机化原则
随机化是A/B测试的基石。只有通过随机分配用户到控制组或实验组，才能保证两组在统计学上“可比”，从而将指标差异归因于策略变化，而非用户自身偏差。
- 随机化方式：用户ID哈希取模、UUID随机数、分层随机抽样（按风险等级、额度区间等分层）。
- 常见陷阱：按申请时间先后分组（受时间效应影响）、按地域分组（受地域差异影响）、按用户主动选择分组（自选择偏差）。
风控场景特别提醒：额度定价涉及资金风险，随机化不能破坏监管合规要求。例如，对高风险客群不能随意大幅提额，需在合规框架内设计随机化方案。
3.4 统计显著性
统计显著性回答一个关键问题：观察到的差异是真实存在的，还是随机波动造成的？
- p值（显著性概率）：在原假设为真的前提下，观察到当前结果（或更极端结果）的概率。通常阈值设为0.05。
- 显著性水平（α）：事先设定的阈值，通常为0.05或0.01。p < α 时，拒绝原假设，认为差异统计显著。
- 置信区间：给出效应量的范围，比单纯p值提供更多信息。例如“新策略使响应率提升2.3%~4.1%”。
额度定价实战判断：
若p=0.03（<0.05），说明在随机波动下观察到当前差异的概率仅为3%，我们有充分证据认为新策略确实改变了指标。
但统计显著 ≠ 业务显著。样本量很大时，微小差异也可能p<0.05，需结合效应量（如提升0.1%的响应率）判断业务价值。
若p=0.03（<0.05），说明在随机波动下观察到当前差异的概率仅为3%，我们有充分证据认为新策略确实改变了指标。
但统计显著 ≠ 业务显著。样本量很大时，微小差异也可能p<0.05，需结合效应量（如提升0.1%的响应率）判断业务价值。
3.5 核心概念对比总结
| 概念 | 核心作用 | 额度定价场景关键点 | 常见误区 |
|---|---|---|---|
| 假设检验 | 提供统计决策框架 | 明确H₀和H₁，选择单侧/双侧检验 | 忽略多重检验校正（同时看多个指标） |
| 控制组与实验组 | 隔离实验变量影响 | 两组除额度外完全一致 | 两组样本量差异过大（如9:1） |
| 随机化原则 | 消除选择偏差 | 按用户ID哈希或分层随机 | 按时间/地域/渠道自然分组 |
| 统计显著性 | 判断差异是否可信 | 结合p值、置信区间、效应量 | 只关注p值，忽略业务意义 |
额度定价实验小贴士：在正式上线新额度策略前，建议先进行小流量A/B测试（如5%用户），运行至少2~4周（覆盖一个完整账单周期），再根据统计显著性和业务效应量决定是否全量上线。