📚 课程目录第3章 A/B测试核心原理

3. A/B测试核心原理：假设检验、零假设与备择假设、第一类与第二类错误、统计功效

在量化投资中，当我们通过A/B测试比较两个因子（例如：传统动量因子 vs. 改进后的动量因子）的表现时，我们无法直接断言“新因子更好”，因为观察到的收益差异可能只是随机波动的结果。假设检验为这种决策提供了严格的数学框架，帮助我们区分“真实的改进”与“统计上的偶然”。

3.1 假设检验的基本逻辑

假设检验是一种基于样本数据对总体参数或模型效果做出推断的统计方法。其核心逻辑是“反证法”：先假设一个结论不成立（零假设），然后看样本数据是否与这个假设矛盾到足以拒绝它。

  量化投资中的典型场景：

  我们开发了一个新的选股因子（因子B），希望它比现有的基准因子（因子A）能产生更高的夏普比率。我们无法测试所有历史数据，只能通过回测或实盘小流量实验获取样本。假设检验帮助我们判断：样本中观察到的因子B的优势，是否足以让我们相信在总体中（未来所有市场环境下）因子B也优于因子A。

3.2 零假设与备择假设

假设检验的第一步是建立一对互斥的假设：

假设类型	符号	含义（以因子选择为例）
零假设	`H₀`	新因子与基准因子的表现没有差异。观察到的差异完全由随机波动引起。
备择假设	`H₁` 或 `Hₐ`	新因子与基准因子的表现存在真实差异（可以是双向或单向）。

实战要点：在因子A/B测试中，我们通常希望“拒绝”零假设。例如，如果我们想证明新因子（B）的年化收益率高于旧因子（A），则设定：
H₀: μ_B - μ_A ≤ 0 （新因子不优于旧因子）
H₁: μ_B - μ_A > 0 （新因子优于旧因子）
这是一个单侧检验。如果我们只关心两者是否有差异，则使用双侧检验。

3.3 第一类错误与第二类错误

当我们基于样本做出决策时，不可避免地会犯错误。理解这两类错误是设计A/B测试和解释结果的关键。

错误类型	统计定义	在因子选择中的后果
第一类错误（α）假阳性	错误地拒绝了真实的零假设。即：实际上新因子没有改进，但我们却认为它有改进。	部署了一个实际上并不优于基准的因子，导致未来策略表现不及预期，造成资金损失和机会成本。
第二类错误（β）假阴性	错误地接受了错误的零假设。即：实际上新因子有改进，但我们却认为它没有改进。	错过了一个真正有效的因子，导致策略无法获得应有的超额收益，在竞争中处于劣势。

权衡与惯例：在量化投资中，我们通常更厌恶第一类错误（假阳性），因为部署一个无效因子会直接损害实盘业绩。因此，行业惯例将显著性水平 α 设定得较低（如 0.05 或 0.01）。然而，过于严苛的 α 会增加第二类错误的风险，导致我们错过真正的阿尔法。A/B测试设计的关键在于平衡这两类错误。

3.4 统计功效

统计功效（Statistical Power）是假设检验中一个至关重要的概念，它直接决定了A/B测试的“灵敏度”。

定义：统计功效 = 1 - β，即当备择假设为真时，正确拒绝零假设的概率。
在因子选择中的意义：它衡量了我们的A/B测试“发现真正有效因子”的能力。一个低功效的测试，即使新因子确实优秀，也可能因为样本量不足或噪声太大而得出“无显著差异”的错误结论。

3.5 影响统计功效的因素

在设计和评估因子A/B测试时，以下四个因素直接影响统计功效：

因素	与功效的关系	在因子测试中的实践
样本量（n）	样本量越大，功效越高。	增加回测的历史长度，或在实盘测试中增加股票数量/交易频率。样本量是提升功效最直接的手段。
效应量（Effect Size）	效应量越大，功效越高。	因子带来的超额收益越显著（如年化超额收益从1%提升到5%），越容易被检测到。微小的改进需要极大的样本量。
显著性水平（α）	α 越大，功效越高（但第一类错误风险增加）。	在探索性研究中，可以适当放宽 α 到 0.10；但在最终决策中，通常坚持 α = 0.05 或更严格。
数据波动性（σ）	波动性越低，功效越高。	对因子收益进行风险调整（如使用夏普比率而非简单收益率），或通过配对测试（Paired Test）减少个体差异的影响。

实战案例：假设我们要测试一个基于“分析师一致预期调整”的新因子。初步回测显示其年化超额收益为2%（效应量较小），而基准因子的年化波动率为15%。如果我们设定 α = 0.05，并希望达到 80% 的统计功效，那么所需的样本量大约为：

# 使用Python的statsmodels库进行功效分析
from statsmodels.stats.power import TTestPower

power_analysis = TTestPower()
sample_size = power_analysis.solve_power(
    effect_size=0.2,   # 效应量 (Cohen's d = 2% / 15% ≈ 0.13, 这里取保守值0.2)
    alpha=0.05,
    power=0.8,
    alternative='larger'
)
print(f"所需最小样本量（每只股票的交易天数）: {sample_size:.0f}")
# 输出: 所需最小样本量（每只股票的交易天数）: 310

这意味着我们需要至少310个交易日的样本数据，才能有80%的把握检测到这个2%的超额收益（如果它真实存在）。

3.6 总结：假设检验在因子选择中的决策矩阵

将上述概念整合，我们可以得到因子A/B测试的最终决策矩阵：

真实情况	决策：接受 H₀（认为无差异）	决策：拒绝 H₀（认为有差异）	统计含义
H₀ 为真（因子无效）	✅ 正确决策（概率 = 1 - α）	❌ 第一类错误（概率 = α）	假阳性：部署了无效因子
H₁ 为真（因子有效）	❌ 第二类错误（概率 = β）	✅ 正确决策（概率 = 1 - β = 统计功效）	真阳性：成功捕获有效因子