3. A/B测试统计学基础：总体与样本、参数估计、置信区间
在量化策略评估中，A/B测试并非简单的“比大小”，其背后依赖一套严谨的统计学框架。理解总体与样本、参数估计以及置信区间这三个核心概念，是正确解读测试结果、避免“伪显著”的基石。
3.1 总体与样本：从“全量”到“抽样”的思维跃迁
量化策略的终极目标是提升未来交易的整体表现，这个“整体”在统计学中被称为总体。然而，我们无法无限回测或等待未来所有数据，只能通过样本——即实际观测到的交易数据——来推断总体特征。
| 概念 | 定义 | 量化策略中的实例 |
|---|---|---|
| 总体 | 研究对象的全体集合 | 策略未来所有可能的交易信号（无限总体） |
| 样本 | 从总体中抽取的部分个体 | 过去3个月回测中产生的1000笔交易记录 |
| 抽样 | 从总体中选取样本的过程 | 从历史行情中随机抽取交易日进行回测 |
| 统计量 | 基于样本计算出的数值 | 样本平均收益率、样本胜率、样本夏普比率 |
核心原则：样本必须具有代表性。在A/B测试中，如果对照组和实验组的样本在时间区间、市场状态上存在系统性偏差（例如牛市与熊市样本比例失衡），那么基于样本得出的结论将无法推广到总体。
3.2 参数估计：用样本“猜”总体
我们无法直接知道总体的真实参数（如真实平均收益率 μ），只能通过样本统计量（如样本平均收益率 x̄）对其进行估计。参数估计分为两类：
- 点估计：用一个具体的数值去猜测总体参数。例如，“实验组策略的平均收益率估计为 0.15%”。
- 区间估计：给出一个区间，并声称该区间以一定概率包含总体参数。这是A/B测试中更常用、更稳健的方法。
点估计虽然直观，但忽略了抽样误差。不同的样本会得出不同的点估计值，因此我们需要知道这个估计的“可信度”。
量化案例：假设对照组策略A的样本平均收益率为0.10%，实验组策略B的样本平均收益率为0.15%。点估计告诉我们B比A好0.05%。但这是否意味着总体上也一定好？不一定，因为样本波动可能造成这个差异。我们需要置信区间来量化这种不确定性。
3.3 置信区间：量化不确定性
置信区间是区间估计的核心产物。它给出了一个范围，并附带了该范围包含总体真实参数的置信水平（通常为95%或99%）。
一个95%的置信区间意味着：如果我们重复进行100次同样的抽样实验，并构建100个置信区间，那么大约有95个区间会包含总体的真实参数。
常见误解：“总体参数有95%的概率落在该区间内。” 这是错误的！总体参数是固定的常数，要么在区间内，要么不在。正确的理解是：该区间构建方法有95%的置信度覆盖总体参数。
3.3.1 置信区间的计算公式（以均值差异为例）
在A/B测试中，我们最关心的是两组策略的均值差异（Δ = μB - μA）。其置信区间的一般形式为：
置信区间 = (样本均值差异) ± (临界值) × (标准误)
其中：
- 样本均值差异 = x̄_B - x̄_A
- 临界值：取决于置信水平（95%对应约1.96）和样本量
- 标准误：衡量样本均值差异的抽样波动性
如果该置信区间完全位于0的右侧（下限 > 0），则说明在统计上，策略B显著优于策略A；如果区间包含0，则说明差异不显著。
3.4 核心概念关系图
下图展示了从总体到样本，再到参数估计与置信区间的完整逻辑链条：
3.5 置信区间 vs. 假设检验：同一枚硬币的两面
在A/B测试中，置信区间与假设检验（如t检验）在数学上是等价的，但视角不同：
| 对比维度 | 置信区间 | 假设检验 |
|---|---|---|
| 输出结果 | 一个数值范围（如 [0.02%, 0.08%]） | 一个p值（如 p = 0.003） |
| 信息量 | 提供效应大小和精度 | 仅提供是否显著 |
| 决策依据 | 区间是否包含0 | p值是否小于显著性水平α |
| 推荐度 | ⭐⭐⭐⭐⭐（更推荐） | ⭐⭐⭐（需结合效应量） |
实战建议：在量化策略的A/B测试报告中，始终同时报告均值差异的95%置信区间和p值。置信区间能告诉你“效果有多大”以及“有多精确”，而p值只能告诉你“有没有效果”。例如：“策略B相比策略A，收益率提升0.05% [95% CI: 0.02%, 0.08%], p=0.003”，这才是完整的统计结论。
3.6 影响置信区间宽度的因素
置信区间越窄，估计越精确。以下因素直接影响区间宽度：
- 样本量 (n)：样本量越大，标准误越小，区间越窄。这是A/B测试中“跑足够多数据”的统计学原因。
- 数据波动性 (σ)：策略收益率的波动越大，标准误越大，区间越宽。高波动策略需要更大样本量才能获得精确估计。
- 置信水平：99%的置信区间比95%更宽，因为我们需要更大的范围来保证更高的“置信度”。
理解这些因素，能帮助你在设计A/B测试时，合理预估所需样本量，避免因数据不足而得出“不显著”的误判。