第2章 前置条件与输入准备:团队角色、环境要求、必要文档、初始数据

2.1 适用场景

本章内容适用于以下三类场景:

  • 首次建立验收体系:团队尚未定义标准化的AI Agent验收流程,需要从零搭建角色、环境、文档与数据基线。
  • 项目进入验收就绪阶段:AI Agent开发已通过功能测试,即将转入正式验收,需统一补齐前置资源。
  • 跨团队协作对齐:多个部门(算法、工程、产品、QA)需要在同一套前置条件下启动验收,避免因准备不足导致验收反复。
实践提示:在大型组织中,前置条件准备往往占据验收总工时的 20%–30%。提前按本章 SOP 对齐,可减少约 40% 的验收返工。

2.2 前置条件

执行本章操作前,必须满足以下基础条件:

序号 条件项 验收标准 负责人建议
1 项目已完成开发并合入主分支 主干代码通过 CI 构建,无 P0/P1 级缺陷 开发负责人
2 已有明确的验收负责人 已指定一名验收经理,并获得项目组授权 项目经理
3 验收计划已通过评审 验收范围、时间窗口、资源预算已书面确认 QA 负责人
4 基础设施账号与权限已开通 测试环境、代码仓库、制品库、监控平台均可正常登录 运维负责人
风险提醒:前置条件未满足即开始验收准备,极易导致角色缺位、环境冲突、文档版本混乱。请务必逐项确认后再进入 2.3 操作步骤。

2.3 操作步骤

本章操作分为四大并行步骤,建议由验收经理统一协调,各角色同步推进。

步骤一:组建验收团队并分配角色

  1. 确定验收经理:由 QA 负责人或项目经理担任,负责全流程把控。
  2. 指定开发代表:算法工程师 + 后端工程师各至少 1 名,负责缺陷定位与修复。
  3. 邀请产品/业务代表:负责验收结果的功能符合性判断。
  4. 引入架构师/技术负责人:审核性能、安全、可扩展性等非功能指标。

步骤二:搭建并验证验收环境

  1. 环境隔离:使用独立命名空间(namespace)或专用服务器,与开发/生产环境隔离。
  2. 基础组件部署:安装 Agent 运行时、模型推理服务、向量数据库等中间件。
  3. 监控与日志接入:配置 Prometheus + Grafana(指标)和 ELK/Loki(日志),确保可观测性。
  4. 环境冒烟测试:运行一条最短 Agent 链路,确认环境可用。
# 环境冒烟测试示例(Python)
python -c "
from agent_core import Agent
agent = Agent(config='env_check.yaml')
result = agent.run('hello')
assert result.status == 'success', 'Environment smoke test failed'
print('Environment ready')
"

步骤三:归集并审核必要文档

  1. 文档清单核对:对照《AI Agent 验收文档清单》逐项确认版本与审批状态。
  2. 文档归档:统一存放至团队知识库(如 Confluence、Notion),并设置只读权限。
  3. 缺失项跟踪:对缺少的文档创建 Jira Epic,指定责任人和完成日期。

步骤四:准备初始数据与测试样本

  1. 测试用例数据集:包含至少 50 条覆盖正常、边界、异常场景的输入-预期输出对。
  2. 配置参数清单:记录 Agent 的所有可调参数及其默认值、取值范围。
  3. 历史运行日志:从预发环境抽取最近 7 天的 Agent 日志,用于回归对比。
  4. 基准性能结果:记录当前版本的首次响应时间、准确率、资源占用等基线值。
// 测试用例数据集示例(JSON)
{
  "test_suite": "agent_basic_tasks",
  "version": "2.0",
  "test_cases": [
    {
      "id": "TC-001",
      "description": "语义理解准确性测试",
      "input": "请帮我查询明天北京的天气",
      "expected_behavior": "调用天气查询API",
      "expected_output": "包含'北京'和'天气'关键词的回答"
    },
    {
      "id": "TC-002",
      "description": "多轮对话上下文保持",
      "input": ["我的名字是张三", "我刚才说了什么?"],
      "expected_behavior": "正确引用上一轮中的名字",
      "expected_output": "提及'张三'或'名字'"
    }
  ]
}
关键检查点:四个步骤必须全部完成且互相确认后,方可进入下一阶段。验收经理每日站会同步四步骤完成度。

2.4 输入输出物

类别 输入物 输出物
团队 项目人力计划、角色 RACI 矩阵 《验收团队角色配置表》
环境 基础设施申请单、网络拓扑图 《验收环境配置清单》+ 冒烟测试报告
文档 需求文档、设计文档、API 文档草稿 《AI Agent 验收文档清单》+ 文档归档链接
数据 生产日志脱敏样本、配置模板 《测试数据集》+ 《配置参数清单》+ 《基准性能报告》

2.5 责任边界

角色 职责范围 决策权
验收经理 统筹四步骤进度、仲裁资源冲突、签署验收就绪报告 暂停或推迟验收启动
QA 工程师 环境验证、测试数据集编写、基准报告产出 对环境可用性有一票否决权
开发代表 提供 Agent 部署包、修复环境阻塞缺陷 决定缺陷修复优先级
产品/业务负责人 审核文档完整性、确认测试用例覆盖业务场景 对功能用例的充分性有最终裁定权
架构师 审核非功能指标(性能、安全、可扩展)的验收标准 对非功能指标基线有修订权

2.6 记录材料

以下记录材料必须在步骤执行过程中同步填写,并作为验收就绪评审的依据:

  • 《验收团队角色配置表》 — 记录成员姓名、角色、邮箱、权限清单。
  • 《验收环境配置清单》 — 记录服务器/容器信息、中间件版本、网络端口、访问方式。
  • 《AI Agent 验收文档清单》 — 列出所有必要文档的名称、版本、审批状态、存放链接。
  • 《测试数据集版本记录》 — 记录数据集版本、用例数量、覆盖场景标签。
  • 《基准性能报告》 — 记录响应时间、准确率、CPU/内存占用、P99 延迟等基线值。
模板管理建议:所有记录材料使用统一编号前缀 PRQ-(Pre-Requirement),例如 PRQ-ENV-001,便于后续追溯。

2.7 异常处理

异常场景 影响步骤 处理措施 升级路径
关键角色无法到位 步骤一 由验收经理协调备选人员,或申请推迟 2–3 个工作日 项目经理 → 部门主管
测试环境资源不足 步骤二 优先使用容器化隔离方案,或申请临时扩容 运维负责人 → 基础设施主管
文档版本与代码不一致 步骤三 冻结代码分支,同步更新文档至最新 commit,两者绑定 Tag 开发负责人 + 文档管理员
测试数据集覆盖率不达标 步骤四 启动“用例补写冲刺”,由 QA + 产品在 2 天内补齐缺失场景 QA 负责人 → 产品负责人
环境冒烟测试失败 步骤二 记录失败日志,由开发代表 4 小时内修复,重新冒烟 开发代表 → 验收经理

2.8 验收标准

本章所有操作完成时,必须同时满足以下七项标准,方可签发“验收就绪”确认:

  1. 角色到位率 100%:配置表中所有角色均已指定人员,且签署了职责确认书。
  2. 环境冒烟通过:冒烟测试报告显示 Agent 核心链路成功率 ≥ 99%。
  3. 文档完整度 ≥ 95%:文档清单中所有必选项均已归档,且版本号与代码 Tag 一致。
  4. 数据集版本已锁定:测试数据集已打 Tag,并上传至制品库,不可再随意修改。
  5. 基准报告已评审:架构师或技术负责人已签署基准性能报告,确认基线合理。
  6. 异常项已清零:2.7 节中所有已触发的异常均有关闭记录或明确的绕行方案。
  7. 验收经理签署:验收经理在《验收就绪检查单》上电子签名,并抄送项目组全员。
就绪标志:以上七项全部完成后,项目状态从“开发完成”变更为“验收就绪”,正式进入验收执行阶段。
AI Agent 验收前置准备架构图 验收就绪 团队角色 • QA 测试工程师 • 开发团队代表 • 产品/业务负责人 • 架构师/技术负责人 环境要求 • 独立测试环境 • 监控与日志系统 • CI/CD 管道 • 版本管理工具 必要文档 • 需求规格说明书 • 技术设计文档 • API 接口文档 • 验收标准清单 初始数据 • 测试用例数据集 • 配置参数清单 • 历史运行日志 • 基准性能结果 四个维度均准备就绪后,方可进入正式验收流程