4. A/B测试核心概念：假设检验、第一类错误与第二类错误、统计功效、效应量

在高频行情数据场景下，A/B测试并非简单的“涨跌对比”，而是基于统计推断的严谨决策过程。理解假设检验、两类错误、统计功效与效应量，是评估策略效果是否真实、避免被噪声误导的基石。

4.1 假设检验：从“猜想”到“判决”

假设检验的核心逻辑是：先提出一个“无效果”的默认立场（零假设），然后利用样本数据判断是否有足够证据推翻它。

• 零假设（H₀）：策略A与策略B在关键指标（如微盘成交率、延迟分布）上无差异。例如：μ_A = μ_B。
• 备择假设（H₁）：策略A与策略B存在显著差异。例如：μ_A ≠ μ_B（双尾）或 μ_A > μ_B（单尾）。

检验流程通常包含以下步骤：

1. 设定显著性水平（α，通常为0.05）。
2. 计算检验统计量（如t值、z值）。
3. 计算p值：在H₀为真的前提下，观察到当前样本结果（或更极端结果）的概率。
4. 判决：若p值 < α，则拒绝H₀，认为差异显著；否则无法拒绝H₀。

4.2 第一类错误与第二类错误：代价权衡

在A/B测试中，错误并非对称的。两类错误的代价在高频交易场景下差异巨大：

4.3 统计功效：测试的“探测能力”

统计功效（Power = 1 - β）衡量当真实差异存在时，A/B测试能够正确拒绝H₀的概率。在高频行情数据中，功效不足会导致“有信号却测不出来”。

影响统计功效的四大因素：

• 效应量（Effect Size）：真实差异越大，功效越高。
• 样本量（n）：样本越多，功效越高。高频数据虽大，但有效独立样本量受自相关影响。
• 显著性水平（α）：α越严格（如0.01），功效越低。
• 数据变异（σ²）：噪声越大，功效越低。高频数据需通过降噪或聚合提升功效。

4.4 效应量：差异的“实际大小”

p值只能告诉你“差异是否显著”，而效应量告诉你“差异有多大”。在高频交易中，一个统计显著但效应量极小的策略可能不具备实际部署价值。

常用效应量指标：

4.5 高频场景下的综合应用建议

在高频行情数据A/B测试中，不能孤立地看p值或效应量。以下是一个综合决策框架：

# 伪代码：高频A/B测试效果评估决策逻辑
def evaluate_ab_test(p_value, effect_size, power, alpha=0.01, min_effect=0.1):
    if p_value > alpha:
        if power < 0.8:
            return "功效不足，需增加样本量或降低噪声"
        else:
            return "无显著差异，策略效果不存在"
    else:
        if effect_size >= min_effect:
            return "效果显著且效应量达标，建议部署"
        else:
            return "统计显著但效应量过小，需评估实际收益是否覆盖成本"