2. 验收标准制定
验收标准不是项目结束时才拿出来对照的“判决书”,而是项目启动阶段就应与客户共同签署的“度量契约”。在LabVIEW自动测试项目中,最常见的验收争议往往不是“功能没做”,而是“做到什么程度算合格”没有提前说清。例如客户说“测试要稳定”,工程师理解为连续运行8小时不崩溃,客户却认为要连续运行72小时且数据零丢失。因此,验收标准制定的核心任务,是把模糊的自然语言需求,翻译成可测量、可复现、可判定的量化指标。
一、四类验收的量化维度
功能验收关注“系统是否按需求正确执行动作”。量化指标应包含:测试项覆盖率、判定准确率、通道映射正确性、报警触发条件、数据记录完整性。例如某电源模块自动测试系统,需求为“支持12路电压采集与上下限判定”,则功能验收可定义为:12路通道逐一注入标准电压源,在量程0~30V内选取5个测试点,系统采集值与标准源读数偏差不超过±0.05%FS,且超限时报警记录必须包含时间戳、通道号、实测值、限值四项字段。
性能验收关注“系统在指定负载与节拍下能否达到速度与精度要求”。典型指标包括:单次测试周期时间、测量精度、重复性、吞吐量、资源占用率。例如“单板测试节拍≤18秒”应进一步拆解为:从扫码触发到结果写入数据库的总时间,在连续100次测试中,第95百分位时间不超过18秒,平均时间不超过15秒。精度指标则需注明参考标准器等级、环境温度范围和校准有效期。
稳定性验收关注“系统在长时间运行下的可靠性”。量化指标应包含:连续运行时长、故障间隔、数据丢失率、异常恢复时间、内存增长上限。例如可约定:系统连续运行72小时,每5秒执行一次模拟测试循环,期间不允许出现未处理异常;若发生通信超时,应自动重连并在10秒内恢复;测试记录条数与理论循环次数偏差不超过0.1%;LabVIEW进程内存增长不超过初始值的20%。
文档验收关注“交付物是否可支撑运维与二次开发”。量化指标包括:文档清单完整性、版本一致性、接口说明覆盖率、部署步骤可复现性。例如要求:每个VI前面板控件与后面板端子均需有说明;所有硬件接口均需给出引脚定义、通信协议、波特率与数据格式;部署文档需在干净目标机上按步骤复现成功,且步骤中不得出现“根据实际情况调整”等不可执行描述。
二、与客户共同定义指标的三步法
第一步是“需求翻译”。把客户口中的“快”“稳”“准”逐条追问到可测量。例如客户说“测试要快”,应追问:从哪个动作开始计时?到哪个动作结束?在多少件样品上统计?取平均值还是最大值?只有把起点、终点、样本量、统计方式确定下来,指标才具备可判定性。
第二步是“边界确认”。任何量化指标都必须附带适用条件,否则验收时容易扯皮。例如精度指标必须写明参考标准器型号与校准有效期、环境温度与湿度范围、被测信号类型与量程。稳定性指标必须写明运行环境、供电条件、是否允许人工干预。文档指标必须写明评审方式与通过准则。
第三步是“双方签署”。将四类验收指标整理成《验收标准确认单》,由客户方项目负责人与开发方项目经理共同签字。确认单中每条指标应包含:指标名称、量化定义、测试方法、判定阈值、证据形式、责任人。这份确认单是后续验收测试用例设计的唯一依据,也是项目范围变更时的基准参照。
三、可量化指标的编写要点
编写量化指标时,应避免三类常见错误。第一类是“无阈值”,如“系统应稳定运行”,没有时长和故障率,无法判定。第二类是“无方法”,如“精度应满足要求”,没有说明用什么标准器、在什么条件下、测多少个点。第三类是“无证据”,如“文档应齐全”,没有定义齐全的标准和评审方式。
正确的写法应同时包含“条件+动作+阈值+证据”。例如:“在环境温度23±5℃、使用Fluke 5520A标准源、对12路电压通道各注入5个测试点的条件下,系统采集值与标准源读数偏差不超过±0.05%FS,测试报告自动记录每次采集的原始值与判定结果。”这样的指标,开发方知道怎么做,客户方知道怎么验,双方都不会产生歧义。
四、验收标准确认单示例
以下为某LabVIEW电源模块自动测试系统验收标准确认单的节选,供参考。表中“指标编号”用于与测试用例和测试报告关联。
| 指标编号 | 类别 | 量化指标 | 测试方法 | 判定阈值 | 证据形式 |
|---|---|---|---|---|---|
| F-01 | 功能 | 12路电压采集通道映射正确 | 逐路注入标准电压,核对通道号与显示值 | 12路全部正确,无串扰 | 通道映射测试记录 |
| F-02 | 功能 | 超限报警记录字段完整 | 注入超限电压,检查报警记录 | 含时间戳、通道号、实测值、限值 | 报警记录截图 |
| P-01 | 性能 | 单次测试周期时间 | 连续100次测试,统计总时间 | P95≤18s,均值≤15s | 测试日志时间戳 |
| P-02 | 性能 | 电压测量偏差 | 标准源注入5点/通道,记录偏差 | ≤±0.05%FS | 原始数据+计算表 |
| S-01 | 稳定性 | 连续运行72小时无未处理异常 | 每5秒模拟循环,持续72h | 异常次数=0 | 运行日志+内存曲线 |
| S-02 | 稳定性 | 通信超时自动恢复 | 人为断开通信,观察恢复时间 | ≤10秒恢复 | 恢复日志 |
| D-01 | 文档 | 部署文档可复现 | 干净目标机按步骤部署 | 一次成功,无模糊描述 | 部署记录+评审签字 |
| D-02 | 文档 | VI说明完整性 | 抽查20个VI,检查控件与端子说明 | 覆盖率100% | VI说明检查表 |
总结来说,与客户共同定义验收标准,本质是把“我觉得可以了”变成“数据证明可以了”。功能验收看覆盖与正确,性能验收看节拍与精度,稳定性验收看时长与恢复,文档验收看完整与可复现。四类指标各有侧重,但共同要求是:条件明确、方法可执行、阈值可判定、证据可追溯。做到这四点,验收就不再是博弈,而是双方对同一份度量契约的共同确认。