4. 量化策略中的A/B测试框架：策略对照组与实验组设计、随机化分配方法、分层抽样策略

在量化策略开发中，A/B测试的核心是构建一个严谨的对比框架，以隔离策略改进带来的真实收益与随机噪声。本章将系统讲解如何设计对照组与实验组、如何分配样本，以及如何通过分层抽样提升测试的统计效力。

4.1 策略对照组与实验组设计

对照组与实验组的定义必须遵循“单一变量原则”：除待测试的策略信号或参数外，两组在交易标的、时间区间、手续费、滑点等所有环境因素上保持一致。

4.2 随机化分配方法

随机化是消除选择偏差的基石。在量化策略中，随机化分配的对象通常是“交易机会”或“时间窗口”，而非静态的股票池。

4.2.1 完全随机分配

每个交易机会（如某日某标的的入场信号）以等概率被分配到对照组或实验组。适用于样本量大、无显著时间依赖性的策略。

import numpy as np

def random_assignment(signals, treatment_ratio=0.5):
    """
    完全随机分配：每个信号独立随机分组
    signals: DataFrame, 包含信号时间戳和标的
    return: 分组标签数组 (0=对照, 1=实验)
    """
    np.random.seed(42)
    n = len(signals)
    return np.random.binomial(1, treatment_ratio, n)

4.2.2 时间块随机化

将回测期划分为连续的时间块（如周或月），每个时间块整体随机分配。适用于存在时间序列自相关的策略（如高频做市）。

def block_randomization(timestamps, block_size='W'):
    """
    按周划分时间块，每个块整体随机分配
    """
    blocks = timestamps.to_period(block_size).unique()
    np.random.shuffle(blocks)
    # 前50%块为对照组，后50%为实验组
    split_idx = len(blocks) // 2
    control_blocks = blocks[:split_idx]
    treatment_blocks = blocks[split_idx:]
    return timestamps.isin(control_blocks).astype(int)

4.3 分层抽样策略

当策略在不同市场状态（如趋势/震荡、高/低波动）下表现差异显著时，直接随机化可能导致组间分布不均衡。分层抽样确保各层内的对照组与实验组比例一致。

4.3.1 分层变量选择

4.3.2 分层随机化实现

def stratified_assignment(signals, strata_col, treatment_ratio=0.5):
    """
    按指定分层列进行组内随机化
    signals: DataFrame, 必须包含 strata_col
    return: 分组标签数组
    """
    labels = np.zeros(len(signals), dtype=int)
    for stratum in signals[strata_col].unique():
        mask = signals[strata_col] == stratum
        n_stratum = mask.sum()
        n_treat = int(n_stratum * treatment_ratio)
        indices = signals.index[mask].tolist()
        np.random.shuffle(indices)
        treat_indices = indices[:n_treat]
        labels[signals.index.isin(treat_indices)] = 1
    return labels

4.4 框架实施要点

• 样本量规划： 使用功效分析（power analysis）预先计算所需最小交易次数。对于预期提升5%的夏普比率，通常需要至少200~500次独立交易信号。
• 多重比较校正： 当同时测试多个实验组时，使用Bonferroni或FDR校正控制族系错误率。
• 分组平衡监控： 在回测过程中实时检查各组在波动率、交易成本、持仓时间等协变量上的分布是否均衡。

4.5 框架实施总结

一个完整的量化策略A/B测试框架应包含以下组件：

1. 策略定义层： 明确对照组与实验组的信号逻辑、参数范围、风控规则。
2. 分配引擎： 支持完全随机、时间块随机、分层随机三种模式，并记录分配种子以保证可复现。
3. 执行环境： 确保两组在同一回测引擎、同一数据源、同一费用模型下运行。
4. 统计评估层： 输出关键绩效指标（夏普比率、最大回撤、胜率）及对应的置信区间和p值。