4. 假设检验原理：原假设与备择假设、第一类错误与第二类错误、显著性水平 α

假设检验是 A/B 测试的统计学基石。在量化策略评估中，我们通过假设检验来判断策略改进是否具有统计显著性，而非仅仅归因于随机波动。本节将系统阐述假设检验的核心概念。

4.1 原假设与备择假设

任何假设检验都包含两个互斥的假设：

• 原假设 H₀：通常代表“无效果”或“无差异”的保守立场。在 A/B 测试中，H₀ 通常表述为“新策略与旧策略的收益无显著差异”。
• 备择假设 H₁：与原假设相对立，代表我们想要证明的结论。例如“新策略的夏普比率显著高于旧策略”。

4.2 第一类错误与第二类错误

由于我们只能基于样本推断总体，决策过程必然存在犯错的风险。两类错误是假设检验的核心风险度量：

4.3 显著性水平 α

显著性水平 α 是研究者预先设定的、愿意承受的第一类错误最大概率。在量化策略评估中，α 通常取 0.05 或 0.01。

• α = 0.05：意味着如果 H₀ 为真，我们最多有 5% 的概率错误地拒绝它。
• α 与置信水平：置信水平 = 1 − α。α = 0.05 对应 95% 置信水平。
• p 值与 α 的比较：若 p 值 < α，则拒绝 H₀，认为结果具有统计显著性。

4.4 假设检验的完整步骤

在量化策略 A/B 测试中，假设检验通常按以下流程执行：

1. 设定假设：明确 H₀ 和 H₁，确定单尾或双尾检验。
2. 选择显著性水平 α：通常取 0.05 或 0.01。
3. 收集样本数据：运行 A/B 测试，获取策略 A 和策略 B 的收益序列。
4. 计算检验统计量：如 t 统计量、z 统计量等。
5. 计算 p 值：在 H₀ 为真的假设下，观察到当前结果或更极端结果的概率。
6. 做出决策：若 p 值 < α，拒绝 H₀；否则，不拒绝 H₀。

import numpy as np
from scipy import stats

# 模拟策略收益数据
np.random.seed(42)
strategy_A = np.random.normal(0.001, 0.02, 100)  # 旧策略
strategy_B = np.random.normal(0.003, 0.02, 100)  # 新策略

# 执行双样本 t 检验
t_stat, p_value = stats.ttest_ind(strategy_B, strategy_A)

alpha = 0.05
print(f"t 统计量: {t_stat:.4f}")
print(f"p 值: {p_value:.4f}")
print(f"显著性水平 α: {alpha}")

if p_value < alpha:
    print("结论: 拒绝 H₀，新策略具有统计显著性差异")
else:
    print("结论: 不拒绝 H₀，未发现显著差异")

4.5 量化策略中的实际考量