3、A/B测试基础：假设检验、对照组与实验组、统计显著性、置信区间等核心概念

在Edge AI场景中，当我们对模型进行量化、剪枝、蒸馏或替换骨干网络后，往往会产生多个候选版本。此时，仅凭离线验证集上的准确率或mAP指标，并不足以判断哪个版本在真实设备、真实流量和真实业务约束下表现更优。A/B测试正是解决这一问题的黄金标准——它通过受控实验，将用户或设备流量随机分配到不同模型版本，用统计方法量化差异，从而做出有置信度的决策。本章将系统讲解A/B测试的四大核心概念：假设检验、对照组与实验组、统计显著性、置信区间，并结合Edge AI特有的约束（如设备碎片化、网络波动、冷启动）展开说明。

3.1 假设检验：从“感觉有差异”到“统计上有差异”

在Edge AI模型迭代中，我们经常面临这样的问题：量化后的模型在开发板上推理速度提升了23%，但准确率下降了0.8%。这个0.8%的下降是真实退化，还是测试集噪声导致的偶然波动？假设检验提供了形式化的回答框架。其核心逻辑是：先假设两个模型版本没有差异（零假设H₀），然后计算在H₀成立的前提下，观察到当前数据（或更极端数据）的概率——即p值。如果p值小于预先设定的显著性水平α（通常取0.05），我们就拒绝H₀，认为差异具有统计学意义。

在Edge AI场景中，假设检验的对象需要特别定义。传统Web A/B测试关注转化率等比率型指标，而Edge AI更关注三类指标：性能指标（延迟、吞吐量）、资源指标（内存、功耗、温度）、质量指标（准确率、召回率、业务转化）。不同指标适用的检验方法不同：延迟数据通常呈右偏分布，适合使用非参数检验（如Mann-Whitney U检验）或对数变换后的t检验；准确率数据近似正态，可使用双样本t检验；而崩溃率这类稀有事件，则需使用卡方检验或Fisher精确检验。

3.2 对照组与实验组：Edge AI场景下的分流策略

对照组（Control Group）和实验组（Treatment Group）是A/B测试的两大支柱。对照组接收当前线上版本（基线模型），实验组接收候选版本。两组必须在同一时间段、相同条件下运行，唯一的区别就是模型版本。在Edge AI中，分流单位（Unit）的选择比Web端更复杂。Web端常用用户ID或Cookie作为分流单位，而Edge AI可以选择：设备ID（一台手机始终属于同一组）、用户账号（同一用户的多台设备可能分到不同组）、会话（每次启动App随机分组）。

设备级分流是最常见的选择，因为它能保证同一设备上的所有请求都使用同一个模型版本，避免模型切换带来的缓存失效和状态不一致。但设备级分流面临设备碎片化问题：如果实验组中高端设备占比过高，延迟指标会虚低。因此，在分流前需要进行分层随机化（Stratified Randomization），按照设备型号、芯片平台、系统版本、内存大小等特征进行分层，确保两组在这些关键维度上分布均衡。

在实际操作中，Edge AI实验组和对照组往往不是严格等分的。例如，当候选模型风险较高时，可以采用渐进式发布：先分配5%流量到实验组，观察24小时无异常后扩大到20%，再逐步到50%。这种“灰度”策略本质上是一系列连续的A/B测试，每一步都有统计检验支撑。

3.3 统计显著性：p值、效应量与样本量

统计显著性回答“差异是否可信”的问题。p值表示在零假设为真时，观察到当前样本差异或更极端差异的概率。当p < 0.05时，我们称结果在5%水平上显著。但p值有两个常见误读：第一，p值不是“差异为真的概率”；第二，p值受样本量影响极大——样本量足够大时，微小到无业务意义的差异也会变得“显著”。

因此，在Edge AI的A/B测试中，除了p值，还必须关注效应量（Effect Size）。对于延迟指标，效应量可以用Cohen's d表示：两组均值之差除以合并标准差。对于业务指标，可以用相对提升百分比。例如，实验组P95延迟为45ms，对照组为52ms，差异为7ms，相对提升13.5%。即使p=0.001，我们仍需判断这7ms是否值得承担量化带来的准确率损失。

样本量计算是实验设计的关键步骤。对于延迟指标，需要预先知道基线均值和标准差。假设基线P95延迟为50ms，标准差为15ms，我们希望检测出5ms的差异（效应量d=0.33），在α=0.05、统计功效1-β=0.8的条件下，每组需要约145台设备。如果设备日活跃量只有200台，则实验需要运行至少2天才能积累足够样本。对于崩溃率这类稀有事件，样本量需求更大——从0.5%降到0.3%的差异，可能需要数万设备。

3.4 置信区间：量化不确定性的区间估计

置信区间（Confidence Interval, CI）给出了参数估计的不确定性范围。95%置信区间的含义是：如果重复实验100次，大约有95次计算出的区间会包含真实参数值。在Edge AI A/B测试中，我们最关心的是差异的置信区间——即实验组与对照组指标之差的区间估计。

计算置信区间的方法取决于指标类型和分布。对于延迟这类连续指标，如果样本量较大（n>30），可以使用基于正态近似的公式：CI = (x̄_B - x̄_A) ± z_{0.975} × SE，其中SE是标准误。对于准确率这类比率指标，使用Wilson区间或正态近似。在Edge AI中，由于设备间差异大，建议使用Bootstrap方法——对两组数据进行有放回的重采样，计算每次采样的差异，取2.5%和97.5%分位数作为置信区间。Bootstrap不依赖分布假设，对偏态数据更稳健。

# Python伪代码：Bootstrap计算延迟差异的95%置信区间
import numpy as np

def bootstrap_ci(control_delays, exp_delays, n_boot=5000):
    diffs = []
    for _ in range(n_boot):
        c_sample = np.random.choice(control_delays, size=len(control_delays), replace=True)
        e_sample = np.random.choice(exp_delays, size=len(exp_delays), replace=True)
        diffs.append(np.mean(e_sample) - np.mean(c_sample))
    return np.percentile(diffs, [2.5, 97.5])

# 示例：对照组延迟 [48, 52, 47, 55, ...]，实验组延迟 [41, 44, 43, 46, ...]
# ci_low, ci_high = bootstrap_ci(control, exp)
# 输出: [-8.2, -3.1] → 实验组显著更低

在解读置信区间时，要区分统计显著和实际显著。假设置信区间为[-8ms, -2ms]，虽然不包含0，说明统计显著，但如果业务要求延迟降低至少5ms才值得发布，那么这个区间跨越了业务阈值（-5ms），决策就变得模糊。此时需要结合成本收益分析：量化模型的收益（内存减少30MB、功耗降低15%）是否足以弥补延迟提升不足的风险。

3.5 案例拆解：智能门锁人脸识别模型的A/B测试

某智能家居公司开发了一款人脸识别门锁，当前线上模型为v1.2（浮点模型，运行在Cortex-A53双核处理器上）。团队完成了INT8量化版本v1.3，离线测试显示：模型大小从12MB降至3MB，单次推理延迟从380ms降至210ms，但人脸识别准确率从98.2%降至97.5%。产品经理担心0.7%的准确率下降会影响用户体验，要求通过A/B测试验证。

实验设计：选择1000台已激活的门锁设备，按设备型号（分为高低配两种）、固件版本、用户活跃度进行分层随机化，分为对照组（500台，运行v1.2）和实验组（500台，运行v1.3）。实验周期为7天，采集指标包括：识别成功率、平均识别延迟、P95延迟、设备温度、Wi-Fi重连次数、用户手动密码解锁频率（作为业务兜底指标）。

数据收集与初步观察：第3天时，实验组平均延迟为215ms，对照组为378ms，差异显著。但实验组的“识别失败后重试次数”比对照组高12%。第5天，实验组有3台设备报告过热保护，对照组为0台。团队决定继续运行至7天，同时检查实验组设备的日志，发现过热设备均为高配型号且安装在阳光直射位置。

统计分析：7天结束后，共收集到对照组有效识别事件28,500次，实验组27,900次。识别成功率：对照组98.1%，实验组97.3%，差异0.8%，Bootstrap 95%置信区间为[-1.2%, -0.4%]，p=0.002，统计显著。延迟指标：实验组P95为245ms，对照组为410ms，差异165ms，置信区间[-180ms, -150ms]，显著改善。但进一步分析发现，实验组在低配设备上的识别成功率下降更明显（从97.9%降至96.8%），而在高配设备上仅下降0.2%。

决策与复盘：团队最终决定有条件发布：v1.3仅在高配设备上启用，低配设备继续使用v1.2。同时，针对过热问题，在v1.3中增加了温度感知的降频逻辑。这次实验的教训是：Edge AI的A/B测试不能只看平均指标，必须按设备分层分析。平均结果掩盖了不同硬件上的差异——量化模型在算力强的设备上损失小，在算力弱的设备上损失大。此外，实验周期内遇到的高温天气属于外部混杂因素，未来应在实验设计中加入天气/环境变量的记录。

3.6 常见误区与总结复盘

在Edge AI A/B测试实践中，以下误区需要特别警惕：

• 误区一：忽略设备差异，直接比较均值。不同芯片平台的延迟差异可能高达3倍，如果不分层或不在分析中作为协变量处理，结论可能完全颠倒。
• 误区二：实验时间过短，未覆盖完整业务周期。人脸识别门锁在白天和夜间的使用频率不同，如果只跑48小时，可能只覆盖了工作日白天场景，遗漏了夜间低光照条件下的性能差异。
• 误区三：只看技术指标，不看业务指标。延迟降低50%但用户投诉率上升，这样的“优化”没有价值。必须同时监控用户体验相关的代理指标（如重试次数、手动解锁频率、App差评率）。
• 误区四：多重比较未校正。如果同时比较延迟、内存、功耗、准确率等10个指标，即使所有指标都无差异，也有约40%的概率至少出现一个“显著”结果（0.05×10）。需要使用Bonferroni校正或FDR控制。
• 误区五：忽略网络环境影响。Edge AI模型往往依赖云端协同，如果实验组设备恰好处于弱网环境，可能导致模型降级到云端推理，混淆实验结果。应在实验设计中记录网络类型，并在分析时排除或分层处理。

总结而言，Edge AI的A/B测试是传统统计方法在端侧智能场景下的延伸与适配。核心概念——假设检验、对照组/实验组、统计显著性、置信区间——提供了科学的决策框架，但必须结合硬件异构性、环境动态性和资源约束进行定制化设计。一个合格的Edge AI实验，应当做到：分层随机化保证组间均衡，功效分析确定样本量，Bootstrap计算稳健置信区间，分层分析揭示异构效应，业务指标与技术指标并重。只有如此，才能避免“拍脑袋”发布模型，真正用数据驱动Edge AI的迭代优化。