2. 假设检验与统计显著性：原假设与备择假设、p值、显著性水平α、第一类与第二类错误
在量化策略的A/B测试中，假设检验是判断策略改进是否具有统计意义的基石。本节将系统梳理假设检验的核心概念，帮助你在回测与实盘验证中做出严谨的统计推断。
2.1 原假设与备择假设
任何假设检验都从一对互斥的假设开始：
- 原假设（H₀）：通常代表“无效果”或“无差异”的保守立场。在A/B测试中，H₀ 通常表述为“新策略与旧策略的绩效指标无显著差异”。
- 备择假设（H₁）：与原假设对立，代表“存在真实效果”。例如“新策略的夏普比率显著高于旧策略”。
量化策略示例：
H₀：新因子选股组合与基准组合的日收益率均值之差 = 0
H₁：新因子选股组合与基准组合的日收益率均值之差 ≠ 0（双尾检验）
或 H₁：新因子选股组合的日收益率均值 > 基准组合（单尾检验）
H₀：新因子选股组合与基准组合的日收益率均值之差 = 0
H₁：新因子选股组合与基准组合的日收益率均值之差 ≠ 0（双尾检验）
或 H₁：新因子选股组合的日收益率均值 > 基准组合（单尾检验）
2.2 p值与显著性水平α
p值是在原假设为真的前提下，观察到当前样本结果（或更极端结果）的概率。p值越小，说明样本数据与原假设的兼容性越差，越倾向于拒绝H₀。
显著性水平α是预先设定的阈值，代表我们愿意承担“错误拒绝原假设”的最大风险。在量化金融中，α通常取0.05或0.01。
| α值 | 置信水平 | 常见应用场景 |
|---|---|---|
| 0.10 | 90% | 初步探索性分析、因子筛选 |
| 0.05 | 95% | 标准A/B测试、策略回测验证 |
| 0.01 | 99% | 高成本策略变更、实盘资金分配决策 |
决策规则： 若 p ≤ α，则拒绝H₀，认为结果具有统计显著性；若 p > α，则无法拒绝H₀，不能宣称存在显著差异。
2.3 第一类错误与第二类错误
在假设检验中，我们可能犯两种方向的错误：
- 第一类错误（Type I Error）：错误地拒绝了真实的原假设（假阳性）。概率记为α。
- 第二类错误（Type II Error）：错误地接受了错误的原假设（假阴性）。概率记为β。
检验的统计功效（Power） = 1 − β，表示当备择假设为真时，正确拒绝原假设的概率。
2.4 错误权衡与样本量
在量化策略测试中，两类错误的代价不同：
- 第一类错误代价：将无效策略误判为有效，可能导致实盘资金损失。
- 第二类错误代价：错过真正有效的策略，损失潜在收益。
降低α会减少第一类错误，但会增加β（降低功效）。增大样本量是同时降低两类错误的最有效手段。
量化实践警示： 在回测中过度优化（data snooping）会人为降低p值，导致第一类错误率远高于名义α值。务必使用样本外数据或交叉验证来校正。
2.5 单尾检验与双尾检验
根据备择假设的方向，检验分为两种：
| 检验类型 | 备择假设形式 | 适用场景 |
|---|---|---|
| 双尾检验 | H₁：μ₁ ≠ μ₂ | 仅关心是否存在差异，不关心方向 |
| 单尾检验（右尾） | H₁：μ₁ > μ₂ | 明确预期新策略优于旧策略 |
| 单尾检验（左尾） | H₁：μ₁ < μ₂ | 明确预期新策略劣于旧策略（如风险控制） |
选择建议： 除非有非常明确的先验方向（如新策略在逻辑上只能提升绩效），否则优先使用双尾检验。双尾检验更保守，能避免“先看数据再选方向”的数据窥探偏差。
2.6 量化策略中的实践要点
- 预先注册假设：在回测前明确H₀、H₁、α和检验方向，避免事后合理化。
- 多重比较校正：同时测试多个因子或参数时，使用Bonferroni校正或FDR控制，防止整体第一类错误膨胀。
- 经济显著性 vs 统计显著性：即使p值很小，也要评估策略的预期收益是否覆盖交易成本与风险。
- 功效分析：在测试前计算所需样本量，确保有足够的能力检测到有意义的策略改进。
核心公式速记：
检验统计量 = (观测差异 − 原假设差异) / 标准误
p值 = P(|检验统计量| ≥ 观测值 | H₀为真)
若 p ≤ α → 拒绝H₀，结果统计显著
检验统计量 = (观测差异 − 原假设差异) / 标准误
p值 = P(|检验统计量| ≥ 观测值 | H₀为真)
若 p ≤ α → 拒绝H₀，结果统计显著