第4章 操作效率指标体系：任务完成时间、操作步数、错误率、学习曲线、主观负荷评分、满意度
操作效率评估是硬件产品可用性测试的核心环节。本章围绕6项关键指标构建可量化的评估框架，覆盖客观绩效与主观体验两个维度，确保测试结果既有数据支撑、又能反映真实用户感受。以下指标体系适用于DVT阶段各类硬件产品的操作效率横向对比与回归验证。
4.1 适用场景
以下场景应优先选用本章定义的指标体系进行操作效率评估：
- DVT阶段硬件产品原型验证：在工程验证之后、量产定型之前，系统评估产品操作效率是否达标。
- 竞品横向对比测试：同一任务场景下，对比本产品与竞品在6项指标上的差异，定位效率短板。
- 版本迭代回归测试：每次硬件改版或固件升级后，抽取核心指标进行回归比对，确保效率不退化。
- 关键任务专项优化：针对高频或安全关键任务，使用完整指标组合进行深度诊断。
提示：在筛选指标组合时，至少应包含2项客观指标和1项主观指标，避免单一维度偏差。
4.2 前置条件
- 测试任务场景已定义：每个任务有明确的起点、终点和操作序列描述。
- 数据采集工具已就绪：计时器、操作日志记录器、屏幕录制软件、量表问卷（NASA‑TLX / SUS）均已部署并校准。
- 测试用户样本已到位：样本量不少于8人，覆盖目标用户的主要技能层级（新手、中级、熟练）。
- 测试环境已锁定：光照、噪声、桌面布局、设备摆放位置均按测试规范固定，减少外部干扰。
- 各项指标的操作定义已书面化：团队对“一步操作”“错误”“任务完成”等术语有一致理解，避免歧义。
4.3 操作步骤
按照以下6个步骤建立并使用操作效率指标体系。每一步的输出将作为下一步的输入。
- 明确评估目标与任务场景——从产品需求文档中提取3～5个关键操作任务，每个任务附带成功率阈值和期望完成时间。
- 选择适配指标组合——根据测试目标从6项指标中挑选必选指标（至少4项），并在测试计划中说明各指标的权重。
- 配置测量工具与数据采集环境——部署计时模块、日志埋点、量表电子版；执行一次预跑，验证数据能够正确记录。
- 执行测试并采集原始数据——每名用户在相同环境、相同任务顺序下完成测试；测试员实时记录异常事件（设备卡顿、用户中断等）。
- 计算各指标值——依据下表公式或评估方法，对采集到的原始数据进行标准化计算。
- 综合评估操作效率——将6项指标结果映射到五分制评分表，形成雷达图或综合得分，对比阈值给出通过/待优化/不通过结论。
步骤5配套表：指标定义与计算方法
| 指标名称 | 指标类型 | 定义 | 测量方法 | 计算公式 / 评估方式 |
|---|---|---|---|---|
| 任务完成时间 | 客观 | 从任务开始到结束的总耗时 | 计时器记录（秒） | T = tend − tstart |
| 操作步数 | 客观 | 完成任务所需的最小可计数操作单元数 | 操作日志自动计数 | S = Σ stepi |
| 错误率 | 客观 | 操作过程中出错次数占总操作次数的比例 | 错误计数 / 总操作数 | ER = (E / N) × 100% |
| 学习曲线 | 客观（衍生） | 用户效率随练习次数提升的趋势斜率 | 记录用户连续5次任务时间，拟合幂函数曲线 | y = a·x−b（b＞0 表示进步） |
| 主观负荷评分 | 主观 | 用户感知的认知负荷与任务难度 | NASA‑TLX 六维度量表（0～100） | 加权总分 / 6 |
| 满意度 | 主观 | 用户对产品操作体验的整体满意程度 | SUS 量表（10项，0～100） | 标准化 SUS 分数 |
关键说明：学习曲线为衍生指标，需在同一用户连续执行5次以上相同任务后方可计算；单次测试不产出该指标。
4.4 输入输出物
| 类别 | 输入物 | 输出物 |
|---|---|---|
| 任务定义 | 产品需求文档、任务场景清单 | 已标注阈值指标的测试任务卡 |
| 数据采集 | 用户操作日志、计时记录、量表答卷 | 原始数据表（CSV / Excel） |
| 指标计算 | 原始数据表、计算公式模板 | 指标计算报告（含6项指标值） |
| 综合评估 | 指标计算报告、阈值标准表 | 操作效率评估结论（通过 / 待优化 / 不通过） |
4.5 责任边界
- 测试工程师：负责数据采集工具配置、用户引导、原始数据整理与指标计算。
- 可用性专家：负责指标选择、权重设定、计算结果的解读与异常数据裁定。
- 产品经理：负责确认评估标准阈值、签署最终评估结论。
- 硬件工程师：负责提供产品原型、配合排查测试中暴露的硬件效率问题。
责任边界的常见疏漏：测试工程师直接修改指标权重而未与可用性专家确认，导致评估结果偏离用户真实体验。权重调整必须书面记录并会签。
4.6 记录材料
测试过程中需归档以下材料，作为指标溯源和复判的依据：
- 数据采集原始记录：每个用户的计时日志、操作序列日志、量表答卷扫描件。
- 指标计算工作表：包含原始数据、中间计算过程和最终指标值，日期与计算人签字。
- 异常事件登记表：记录测试中出现的设备故障、用户中断、数据丢失等异常及处理措施。
- 指标权重与阈值确认单：由可用性专家和产品经理签字确认的版本。
4.7 异常处理
| 异常情形 | 影响指标 | 处理措施 |
|---|---|---|
| 用户未完成全部任务 | 任务完成时间、学习曲线 | 标记为“不完整数据”，不纳入最终平均值；在报告中注明有效样本量 |
| 计时器误触发导致时间异常 | 任务完成时间 | 剔除该条数据，使用该用户其他任务的时间中位数替补（最多替补1次） |
| 操作日志漏记某一步 | 操作步数 | 回放屏幕录像人工补录；若无法补录则按“操作步数缺失”标记，不参与该指标汇总 |
| 用户在量表上全部打满分或零分 | 主观负荷评分、满意度 | 判定为无效答卷，要求用户重新填写并说明原因；重新填写仍无效则剔除 |
| 设备在测试中死机或重启 | 全部指标 | 立即中止该轮测试，修复后重新开始该用户的所有任务；在异常登记表中记录时间与原因 |
经验规则：任一指标的数据缺失率超过15%，该指标的结果不应作为最终评估结论的唯一依据，需结合其他指标交叉验证。
4.8 验收标准
指标体系的建立与执行满足以下全部条件，方可视为通过验收：
- 定义清晰：每项指标的操作定义与计算公式已书面化，团队内抽查3人理解一致率100%。
- 测量可重复：同一任务在相同条件下重测2次，指标数值偏差在±10%以内（学习曲线看趋势一致性）。
- 数据完整率：所有必选指标的有效数据量 ≥ 计划样本量的85%。
- 工具校准记录：计时器、日志系统、量表平台均有校准记录，误差在允许范围内。
- 文档齐备：输入输出物、责任签字单、异常登记表、指标权重确认单全部归档。
验收结论判定：5项标准全部满足 → 通过；1～2项不满足 → 限期3个工作日整改后复验；3项及以上不满足 → 指标体系重新构建，返工至步骤1。