3、A/B测试核心概念：假设检验、对照组与实验组、随机分配、统计显著性、效应量
TinyML 模型的迭代速度远快于传统云端模型——你可能每周都要更新量化参数、调整剪枝比例或替换骨干网络。然而，在资源受限的嵌入式设备上，模型改动带来的效果波动往往被硬件噪声、环境变化和用户行为差异所掩盖。A/B 测试正是为了在真实部署环境中回答一个关键问题：新模型版本是否真的比旧版本更好？ 本章将围绕假设检验、对照组与实验组、随机分配、统计显著性和效应量这五个核心概念展开，帮助你建立一套严谨的灰度发布评估框架。
3.1 假设检验：从“感觉更好”到“证据充分”
在 TinyML 场景中，工程师常犯的错误是：在开发板上跑了几百张图片，发现新模型的 Top-1 准确率提升了 2%，就认为“新模型更好”。但真实设备上的输入分布、光照条件、传感器噪声和硬件抖动都会造成指标波动。假设检验提供了一套形式化的决策框架，让你能够区分真实的模型改进与随机波动。
3.1.1 核心原理：零假设与备择假设
假设检验的起点是设立一对互斥的假设：
- 零假设（H₀）：新模型与旧模型在关键指标上无差异（例如：准确率差值 = 0）。
- 备择假设（H₁）：新模型与旧模型存在真实差异（例如：准确率差值 ≠ 0，或 > 0）。
实验的目标不是“证明”备择假设，而是尝试拒绝零假设。如果数据提供的证据足够强（p 值小于预设显著性水平），我们就拒绝 H₀，接受 H₁。反之，如果证据不足，我们只能说“没有发现显著差异”，而不能说“两者相同”。
3.1.2 判断方法：检验统计量与 p 值
对于 TinyML 的 A/B 测试，常用的检验方法包括：
| 场景 | 推荐检验方法 | 适用条件 |
|---|---|---|
| 准确率/召回率等比例指标 | 双比例 z 检验 | 样本量 > 30，且两组样本独立 |
| 延迟/内存占用等连续指标 | 独立样本 t 检验（Welch） | 数据近似正态，方差不齐时使用 Welch 修正 |
| 非正态分布（如极端延迟） | Mann-Whitney U 检验 | 不要求正态性，对异常值稳健 |
| 同一设备上交叉验证 | 配对 t 检验 | 同一设备依次运行新旧模型，消除设备差异 |
p 值的含义是：在零假设为真的前提下，观察到当前或更极端数据的概率。当 p < 0.05（或你预设的阈值）时，说明数据与零假设的预测相矛盾，我们有理由拒绝 H₀。
3.2 对照组与实验组：构建可信的对比基线
A/B 测试的核心结构是将实验对象（设备、用户或会话）划分为两个或多个组别。在 TinyML 场景中，分组单位的选择直接影响实验的有效性。
3.2.1 分组单位的选择
- 设备级分组：每台设备固定运行一个模型版本。适用于智能音箱、门锁等单设备长期使用场景。优点：实现简单；缺点：设备硬件差异可能引入偏差。
- 会话级分组：同一设备在不同会话中交替运行新旧模型。适用于手机 App 内的语音识别、图像分类等高频调用场景。优点：消除设备差异；缺点：存在“跨会话污染”风险（用户行为可能受上次体验影响）。
- 请求级分组：每次推理请求随机分配模型。适用于云端辅助的 TinyML 场景（设备端+云端协同）。优点：样本量大；缺点：设备端模型切换开销大，不适合实时性要求高的场景。
3.2.2 对照组的意义
对照组（旧模型）不是“多余的摆设”，而是衡量实验效果的基准尺。没有对照组，你无法区分“新模型提升了 3%”是因为模型改进，还是因为这段时间环境温度降低导致设备散热更好、CPU 频率更高。对照组的存在让你能够计算净效应：
净效应 = (实验组指标均值 - 对照组指标均值) / 对照组指标均值 × 100%3.3 随机分配：消除选择偏差的基石
随机分配是 A/B 测试区别于简单前后对比的关键。它的目的是让对照组和实验组在所有可能影响结果的变量上（设备型号、使用时长、地理位置、网络状况等）达到统计均衡。
3.3.1 随机化的实现方式
在 TinyML 部署中，随机分配通常通过以下方式实现：
- 设备 ID 哈希取模：对设备唯一标识符（如 MAC 地址、芯片序列号）计算哈希值，取模后决定分组。这种方法简单且稳定，但需要确保哈希函数均匀。
- 分层随机抽样：先按设备型号、内存大小等关键特征分层，再在每层内随机分配。适用于设备差异极大的场景（如同时支持 Cortex-M4 和 Cortex-M7）。
- 自适应随机化：在实验过程中根据已收集的数据动态调整分配比例。例如，如果新模型在早期表现出明显优势，可以逐步增加实验组流量。但这种方法需要谨慎使用，以免引入偏差。
3.3.2 随机分配的常见误区
误区二：随机分配后不做均衡性检查。即使随机化，小样本下两组仍可能在某个关键特征上不均衡。建议在实验开始前，对两组设备的平均内存、平均延迟基线进行 t 检验，确保 p > 0.2（即无显著差异）。
3.4 统计显著性：样本量与功效分析
统计显著性不是“事后计算”的，而是实验设计阶段就必须确定的参数。在 TinyML 中，由于设备资源有限，不可能无限扩大样本量，因此功效分析尤为重要。
3.4.1 核心参数
| 参数 | 符号 | 典型值 | 含义 |
|---|---|---|---|
| 显著性水平 | α | 0.05 | 犯第一类错误（假阳性）的概率 |
| 检验功效 | 1-β | 0.80 | 当真实差异存在时，正确拒绝 H₀ 的概率 |
| 最小可检测效应 | δ | 取决于业务 | 你认为有实际意义的最小指标提升 |
| 样本量 | n | 计算得出 | 每组需要的设备/会话数量 |
3.4.2 样本量估算公式（简化版）
对于双样本均值比较，每组所需样本量近似为：
n = (Z_α/2 + Z_β)² × 2σ² / δ²其中 Z_α/2 和 Z_β 是标准正态分布的分位数（α=0.05 时 Z=1.96；β=0.20 时 Z=0.84），σ² 是指标的方差，δ 是最小可检测效应。
n = (1.96 + 0.84)² × 2 × 8² / 5² ≈ 7.84 × 128 / 25 ≈ 40.1
即每组至少需要 41 台设备。如果你的测试设备池只有 30 台，那么要么接受更低的功效（如 0.70），要么增大最小可检测效应（如 δ=6ms），要么延长测试时间以获取更多会话样本。
3.5 效应量：超越“是否显著”的实用度量
p 值只能告诉你“差异是否真实存在”，但无法告诉你“差异有多大”。在 TinyML 部署决策中，一个统计显著但效应量极小的改进（如准确率提升 0.1%）可能不值得承担额外的内存开销。效应量（Effect Size）正是量化差异幅度的指标。
3.5.1 常用效应量指标
- Cohen's d：适用于连续指标（延迟、内存）。d = (μ₁ - μ₂) / σ_pooled，其中 σ_pooled 是合并标准差。经验判断：d=0.2 小效应，d=0.5 中等效应，d=0.8 大效应。
- 风险差/风险比：适用于分类指标（准确率、故障率）。风险差 = p₁ - p₂，风险比 = p₁ / p₂。
- 提升百分比：最直观的指标，但需要结合基线值。基线准确率 90% 提升 1% 与基线 50% 提升 1% 的难度完全不同。
3.5.2 效应量与业务决策的结合
在 TinyML 中，效应量必须与资源代价联合评估。建议建立如下决策矩阵：
| 效应量（准确率提升） | 内存增加 | 延迟增加 | 决策建议 |
|---|---|---|---|
| > 2% | < 5% | < 3% | 强烈建议发布 |
| 1% - 2% | 5% - 10% | 3% - 8% | 需评估业务优先级 |
| < 1% | > 10% | > 8% | 不建议发布，继续优化 |
3.6 案例拆解：智能门锁人脸识别模型的灰度发布
背景与约束：某智能门锁厂商计划将人脸识别模型从 v1.2 升级到 v2.0。v2.0 使用了新的轻量级骨干网络，理论上准确率更高，但内存占用从 180KB 增加到 210KB（设备可用 RAM 为 256KB），推理延迟从 380ms 增加到 420ms。设备池共有 2000 台已激活门锁，分布在 5 个城市。
实验设计：
- 分组单位：设备级分组。按城市分层，每层内随机分配 50% 设备到对照组（v1.2），50% 到实验组（v2.0）。
- 核心指标：人脸识别准确率（主要）、解锁延迟（次要）、系统崩溃率（安全性指标）。
- 样本量计算：根据历史数据，准确率的标准差 σ=3%，设定 α=0.05，功效=0.80，最小可检测效应 δ=1.5%。计算得每组需要约 63 台设备。考虑到设备流失率（约 10%），每组分配 70 台。
- 实验周期：14 天，覆盖两个完整周末（用户使用高峰期）。
执行过程与数据：实验进行到第 7 天时，监控发现实验组有 3 台设备出现周期性重启。初步排查发现是内存峰值超过 240KB 导致看门狗触发。团队立即暂停了实验组中内存剩余量低于 30KB 的设备（共 8 台），并调整了内存分配策略。
最终结果：
| 指标 | 对照组 (v1.2) | 实验组 (v2.0) | 差异 | p 值 | Cohen's d |
|---|---|---|---|---|---|
| 准确率 | 94.2% | 95.8% | +1.6% | 0.023 | 0.42 |
| 延迟 (ms) | 382 | 418 | +36ms | 0.001 | 0.58 |
| 崩溃率 | 0.02% | 0.05% | +0.03% | 0.11 | — |
分析判断：准确率提升 1.6% 具有统计显著性（p=0.023），且效应量中等（d=0.42），说明改进真实且有一定实际意义。但延迟增加 36ms（d=0.58）也是显著的，且崩溃率虽然未达显著，但趋势不佳。综合评估：准确率提升的收益是否值得延迟增加和崩溃风险？
决策与复盘：团队决定暂不全面发布，而是先修复内存问题。通过分析发现，v2.0 的中间特征图缓存可以复用，优化后内存占用降至 195KB。重新进行第二轮 A/B 测试，延迟降至 395ms（p=0.06，不再显著），准确率保持 95.6%（p=0.018）。最终决定分阶段灰度：先向 10% 用户推送，观察 7 天无异常后逐步放量。
3.7 常见误区与总结
在 TinyML A/B 测试实践中，以下误区需要特别警惕：
- 误区一：忽视多重比较问题。同时检验准确率、延迟、内存、功耗四个指标时，每个指标 α=0.05，整体犯第一类错误的概率升至 1-(0.95)⁴ ≈ 18.5%。建议使用 Bonferroni 校正（α/4=0.0125）或先做全局检验。
- 误区二：提前停止实验。看到 p 值“差不多显著”就提前结束实验，会严重膨胀假阳性率。应预先设定最小样本量和固定实验周期。
- 误区三：忽略设备异构性。Cortex-M4 和 Cortex-M7 设备混在一起分析，可能得出“新模型更好”的结论，但实际上只是 M7 设备在实验组中占比更高。建议按设备型号分层分析。
- 误区四：只报告 p 值不报告效应量。p 值受样本量影响极大——样本量足够大时，0.1% 的差异也会显著。始终同时报告效应量和置信区间。