3. A/B测试概念：量化交易中的定义、假设检验基础与统计显著性

在量化交易的高频回测场景中，A/B测试并非简单的“对比两组收益”，而是一套严谨的统计推断框架。其核心目标是在控制随机噪声的前提下，判断某个策略改动（如参数调整、信号逻辑变更）是否产生了统计上可识别的真实效果，而非由偶然的市场波动或数据噪声导致。

3.1 量化交易中的A/B测试定义

在量化交易中，A/B测试通常指：

• 对照组（A组）：使用原始策略或基准参数进行回测或实盘模拟。
• 实验组（B组）：应用待验证的策略改动（新参数、新信号、新过滤条件）。
• 目标指标：通常为夏普比率、累计收益率、最大回撤、胜率、盈亏比等关键绩效指标。
• 核心原则：除待验证的改动外，两组在数据范围、交易品种、手续费、滑点等环境变量上必须完全一致。

3.2 假设检验基础：原假设与备择假设

假设检验是A/B测试的统计基石。我们通过构建两个互斥的假设来量化判断：

在回测中，我们通常希望拒绝原假设，从而为策略优化提供统计证据。但必须注意：“无法拒绝H₀”不等于“接受H₀”，可能只是样本量不足或效果量太小。

3.3 统计显著性与p值

统计显著性用于衡量观察到的结果在多大程度上是“非偶然”的。其核心工具是p值：

• p值定义：在原假设为真的前提下，观察到当前结果（或更极端结果）的概率。
• 显著性水平（α）：预先设定的阈值，通常取0.05或0.01。
• 判断规则：若p值 < α，则拒绝原假设，认为结果具有统计显著性。

3.4 假设检验决策矩阵

理解假设检验的四种可能结果，有助于避免回测中的误判：

3.5 A/B测试统计推断流程

下图展示了从策略改动到统计结论的完整推断链路：

3.6 高频场景下的p值计算示例

以下是一个简化的Python代码片段，展示如何对两组回测收益率序列进行独立样本t检验：

import numpy as np
from scipy import stats

# 模拟两组回测的日收益率（实际应使用Tick级收益序列）
np.random.seed(42)
returns_A = np.random.normal(0.0005, 0.02, 252)  # 对照组
returns_B = np.random.normal(0.0008, 0.02, 252)  # 实验组

# 独立样本t检验（假设方差齐性）
t_stat, p_value = stats.ttest_ind(returns_B, returns_A, equal_var=True)

print(f"t统计量: {t_stat:.4f}")
print(f"p值: {p_value:.6f}")

# 判断显著性
alpha = 0.05
if p_value < alpha:
    print("结论：拒绝原假设，策略改动具有统计显著性")
else:
    print("结论：无法拒绝原假设，差异不显著")

3.7 统计显著性与实际显著性对比

在量化交易中，统计显著并不等于交易可行。以下对比帮助区分两者：