1. 验收标准总览：AI产品与普通软件差异、验收核心目标、标准制定前提

1.1 适用场景

本验收标准制定方法适用于以下三类核心场景，帮助团队精准锁定验收范围，避免盲目套用传统软件测试流程。

• 场景一：全新AI功能需求交付 — 如智能客服、内容生成、预测模型等模块首次集成。
• 场景二：模型迭代或数据更新 — 既有AI产品的模型版本升级、训练数据更换或推理策略调整。
• 场景三：AI产品上架前最终验收 — 面向C端或B端的完整AI解决方案，需通过业务方与质量门joint sign-off。

1.2 前置条件

在启动AI验收标准制定前，需确认以下条件已满足，否则标准定义容易出现模糊地带或反复变更。

1. 已明确产品业务策略（如“7×24小时自动回复覆盖60%常见问题”）。
2. 已有可执行模型或中间产物（模型文件、API接口、推理引擎）。
3. 已定义用户用例与质量属性权重（如准确率 > 响应速度 > 资源消耗）。
4. 团队已约定pass/fail判定机制（如“不可接受度”“召回率临界值”）。

1.3 AI产品与普通软件的差异

AI产品的验收不能照搬传统功能测试方法论。下表从六个关键维度对比差异，帮助团队在标准制定时建立正确的质量认知框架。

1.4 验收核心目标

AI产品验收的核心目标不是“所有输出都正确”，而是确保产品在真实业务场景中达到预期的可用性、可控性和可观测性。

1. 可用性目标 — 面向最终用户的输出质量满足业务设定的精度、召回、延迟、成本约束。
2. 可控性目标 — 对置信度低的输出有能力表明“不确定、拒绝回答或转入人工”；产品不会产生不可预见的偏见或安全风险。
3. 可观测性目标 — 能够对每一条输入-输出链路进行日志追溯、权重解释、质量标注和归因分析。
4. 一致性目标 — 在给定的输入下，输出质量在统计上保持稳定，不会因时间、地区或用户群体不同而产生不可解释的剧烈波动。

1.5 标准制定前提

在正式构建验收标准条目之前，必须确立以下四项前提，作为标准体系的全局基线。

1.6 验收标准组织正文

在后续章节中，我们将以“验收标准条目”为单位，逐一构建并归档。单条标准具备以下结构，同时作为流程SOP的可追溯原子。建议团队在验收文档中按此模板组织每条标准。

• 条目ID — 如 AI-ACCEPT-001 ，用于版本对比与变更追溯。
• 关联模块 — 归属的AI能力模块（如文本生成、语音识别、推荐排序）。
• 验收指标与阈值 — 精确数值或范围（如F1 ≥ 0.85）。
• 测试方法 — 对标哪些数据集、多少个样本、是否包含对抗测试。
• 责任角色 — 验收负责人、执行人、审批人。
• 记录材料 — 验收报告链接、测试日志存档位置、指标截图或可复现脚本。
• 异常处理 — 当单条标准不通过时，启动哪个回退流程。