第2章 测试目标定义：可验证指标、置信度要求、最小可接受样本量
适用场景
本章适用于以下硬件MVP验证阶段，帮助团队将模糊假设转化为可量化、可执行的测试目标：
- 已提出关键假设（如“用户接受磁吸充电方式”“续航24小时可满足通勤需求”），需要设计验证实验时。
- 原型样机数量有限，需要确定最少测试次数即可获得可信结论时。
- 多个设计方案并行比选，需要统一评判标准避免主观争议时。
- 向管理层或投资人证明验证结论的统计可靠性时。
前置条件
- 已明确的假设清单：从上一章节输出的H1/H2级假设，至少包含一个可操作的关键变量。
- 原型或测试工装就绪：具备可执行测试的物理样机、仿真环境或预研板。
- 基线数据：如有行业基准或竞品数据，可作为指标阈值参考。
- 团队共识：产品、硬件、测试三方对“什么是成功”有初步对齐，避免后续扯皮。
操作步骤
将模糊假设拆解为可执行的测试目标，需要依次完成三个核心定义。每一步的输出都将作为下一步的输入。
-
步骤1：将假设转化为可验证指标
- 从假设中提取 关键变量（如充电效率、握持舒适度、连接成功率）。
- 为每个变量赋予 操作化定义：明确测量工具、单位、采集方式。
- 设定 成功/失败阈值（如“无线充电效率 ≥ 75%”才进入下一步设计）。
提示： 指标要遵循SMART原则——具体（Specific）、可测量（Measurable）、可达成（Achievable）、相关（Relevant）、有时限（Time-bound）。避免“用户体验好”这类模糊描述。 -
步骤2：确定置信度要求
- 选择 置信水平：硬件MVP常用 95%（对应α=0.05），高风险决策可提升至99%。
- 明确 统计显著性水平（α值），默认0.05，若样本获取极困难可放宽至0.10。
- 记录 置信度决策依据：若该指标失效会导致整机重做，建议从严；若仅为辅助功能优化，可适当放宽。
注意： 置信度不是越高越好。99%置信度需要数倍样本量，在硬件MVP阶段可能拖慢迭代节奏。建议按“失效后果严重度”分级设定。 -
步骤3：计算最小可接受样本量
- 使用简化公式估算理论样本量：
n = (Z² × p × (1-p)) / d² 其中： n = 最小样本量 Z = 置信水平对应的Z值（95%→1.96，90%→1.645） p = 预估成功率（若无前期数据取0.5） d = 可接受的误差范围（如 ±5% → 0.05）- 根据实际约束（样机数量、测试周期、人力成本）调整最终值。
- 确定 最小可接受样本量，并记录调整理由。
示例： 某磁吸充电假设，p=0.8（预估成功率80%），希望误差不超过±5%，95%置信度。
n = (1.96² × 0.8 × 0.2) / 0.05² ≈ 246 次。若样机仅10台，每台需测试25次，可安排。
输入输出物
| 类别 | 名称 | 说明 |
|---|---|---|
| 输入 | 假设清单（H1/H2） | 上一章节输出的待验证假设，含变量描述 |
| 输入 | 原型/工装规格书 | 测试对象的物理参数、接口定义 |
| 输出 | 可验证指标定义表 | 含指标名称、测量方法、成功/失败阈值 |
| 输出 | 置信度决策记录 | 含置信水平、α值、决策理由 |
| 输出 | 样本量计算表 | 含公式、参数取值、最终样本量及调整说明 |
责任边界
| 角色 | 责任 | 输出物 |
|---|---|---|
| 产品经理 | 提供假设背景、定义成功标准、确认指标的业务合理性 | 可验证指标定义表（业务侧） |
| 硬件工程师 | 评估指标的可测量性、提供测量方案、确认工装可行性 | 测量方法说明、误差预算 |
| 测试工程师 | 计算样本量、设计测试记录模板、执行预测试 | 样本量计算表、数据记录模板 |
| 技术负责人 | 审核置信度要求、仲裁争议、签字确认测试目标 | 置信度决策记录（签字版） |
记录材料
- 指标定义卡：每个指标一张卡片，包含名称、操作化定义、测量工具、阈值。
- 置信度决策日志：记录不同指标的置信水平、α值、决策人、日期。
- 样本量计算工作簿：含公式、参数来源、计算过程、最终值。
- 测试目标验收单：由产品、硬件、测试三方签字确认。
异常处理
| 异常情况 | 原因 | 处理措施 |
|---|---|---|
| 指标无法直接测量 | 变量过于抽象（如“手感好”） | 拆解为子指标（摩擦系数、握持角度、按压形变）或使用替代指标 |
| 置信度要求过高导致样本量不可行 | 选定99%置信度且误差范围过严 | 评估失效风险：若风险可控，降为95%并记录；若风险不可控，增加资源或缩小假设范围 |
| 预估成功率p无参考数据 | 全新设计无历史数据 | 取p=0.5（最保守），或通过小范围探索性测试（n=5~10）快速估算 |
| 样机数量不足最小样本量 | 样机成本高、数量少 | 采用配对测试或重复测量设计；或将假设拆分为更小子问题，降低单次样本量需求 |
验收标准
- 每个假设已拆解为至少1个 可验证指标，且测量方法明确、阈值可判定。
- 置信度要求已记录在案，且与假设的重要等级匹配（高影响假设不低于95%）。
- 最小可接受样本量已完成计算，并附有参数来源和调整说明。
- 指标定义表、置信度决策记录、样本量计算表 三方签字归档。
- 所有异常情况已在记录中注明处理方式，且未影响测试启动时间。
本章知识结构图
下图概括了测试目标定义的三个核心要素及其推导关系，可作为团队讨论时的视觉框架。
常见误区与避坑指南
- 误区一： 先定样本量再定指标。 → 正确的顺序是：假设 → 指标 → 置信度 → 样本量，次序不可颠倒。
- 误区二： 所有指标共用同一个置信度。 → 关键性能指标（如安全相关）应使用更高置信度，辅助功能可放宽。
- 误区三： 忽视p值对样本量的影响。 → 当p接近0或1时，所需样本量大幅减少；取p=0.5最保守但成本最高。
- 误区四： 理论样本量直接照搬，不做实际约束调整。 → 硬件测试受样机数量、测试台位、人员时间限制，需在记录中说明调整量。