4. A/B测试基础概念：假设检验、统计显著性、置信区间、最小样本量计算

A/B测试是验证XGBoost模型优化效果（如新特征引入、超参数调优、模型压缩）是否统计显著的核心工具。本节将系统讲解A/B测试的四大基础概念，帮助你在压力测试场景中科学地评估模型迭代效果。

4.1 假设检验：从业务问题到统计决策

假设检验是A/B测试的决策框架。在XGBoost模型对比场景中，我们通常关注两个核心假设：

4.2 统计显著性：p值与显著性水平

统计显著性回答一个核心问题：观察到的差异是真实存在的，还是随机波动造成的？

• p值：在原假设H₀为真的前提下，观察到当前结果（或更极端结果）的概率。p值越小，拒绝H₀的证据越强。
• 显著性水平α：我们愿意接受的“假阳性”风险阈值，通常设为0.05（5%）或0.01（1%）。
• 决策规则：若p值 < α，则结果统计显著，拒绝H₀；否则不显著，无法拒绝H₀。

4.3 置信区间：差异的量化范围

置信区间（Confidence Interval, CI）给出了模型效果差异的可能范围，比单纯的“显著/不显著”提供更多信息。

• 定义：在重复抽样中，有(1-α)×100%的置信区间会包含真实的总体差异。
• 95%置信区间：若重复进行100次A/B测试，约95次计算出的区间会包含真实差异值。
• 业务解读：区间下限 > 0 → 新模型显著优于基线；区间包含0 → 差异不显著。

4.4 最小样本量计算：避免“跑得太早”或“跑得太久”

最小样本量（Minimum Sample Size）确保A/B测试有足够的统计功效（Statistical Power）来检测到真实存在的差异。样本量不足会导致“假阴性”（Type II Error），样本量过大则浪费流量和时间。

计算最小样本量需要四个参数：

1. 显著性水平α：通常0.05，控制假阳性风险。
2. 统计功效1-β：通常0.80，控制假阴性风险。
3. 最小可检测效应量（MDE）：你希望检测到的最小差异（如AUC提升0.5%）。
4. 基线指标方差：基线指标的波动程度（如AUC的标准差）。

# Python示例：使用statsmodels计算最小样本量
from statsmodels.stats.power import TTestIndPower

# 参数设置
effect_size = 0.05   # 效应量（Cohen's d），对应MDE/标准差
alpha = 0.05         # 显著性水平
power = 0.80         # 统计功效

# 计算样本量
analysis = TTestIndPower()
sample_size = analysis.solve_power(
    effect_size=effect_size,
    alpha=alpha,
    power=power,
    alternative='two-sided'
)

print(f"每组所需最小样本量: {int(sample_size)}")
# 输出示例：每组所需最小样本量: 393

4.5 四大概念在XGBoost压力测试中的协同应用

在模型压力测试的A/B分流中，这四个概念构成完整的决策链条：