第2章 前置条件与输入准备:团队角色、环境要求、必要文档、初始数据
2.1 适用场景
本章内容适用于以下三类场景:
- 首次建立验收体系:团队尚未定义标准化的AI Agent验收流程,需要从零搭建角色、环境、文档与数据基线。
- 项目进入验收就绪阶段:AI Agent开发已通过功能测试,即将转入正式验收,需统一补齐前置资源。
- 跨团队协作对齐:多个部门(算法、工程、产品、QA)需要在同一套前置条件下启动验收,避免因准备不足导致验收反复。
实践提示:在大型组织中,前置条件准备往往占据验收总工时的 20%–30%。提前按本章 SOP 对齐,可减少约 40% 的验收返工。
2.2 前置条件
执行本章操作前,必须满足以下基础条件:
| 序号 | 条件项 | 验收标准 | 负责人建议 |
|---|---|---|---|
| 1 | 项目已完成开发并合入主分支 | 主干代码通过 CI 构建,无 P0/P1 级缺陷 | 开发负责人 |
| 2 | 已有明确的验收负责人 | 已指定一名验收经理,并获得项目组授权 | 项目经理 |
| 3 | 验收计划已通过评审 | 验收范围、时间窗口、资源预算已书面确认 | QA 负责人 |
| 4 | 基础设施账号与权限已开通 | 测试环境、代码仓库、制品库、监控平台均可正常登录 | 运维负责人 |
风险提醒:前置条件未满足即开始验收准备,极易导致角色缺位、环境冲突、文档版本混乱。请务必逐项确认后再进入 2.3 操作步骤。
2.3 操作步骤
本章操作分为四大并行步骤,建议由验收经理统一协调,各角色同步推进。
步骤一:组建验收团队并分配角色
- 确定验收经理:由 QA 负责人或项目经理担任,负责全流程把控。
- 指定开发代表:算法工程师 + 后端工程师各至少 1 名,负责缺陷定位与修复。
- 邀请产品/业务代表:负责验收结果的功能符合性判断。
- 引入架构师/技术负责人:审核性能、安全、可扩展性等非功能指标。
步骤二:搭建并验证验收环境
- 环境隔离:使用独立命名空间(namespace)或专用服务器,与开发/生产环境隔离。
- 基础组件部署:安装 Agent 运行时、模型推理服务、向量数据库等中间件。
- 监控与日志接入:配置 Prometheus + Grafana(指标)和 ELK/Loki(日志),确保可观测性。
- 环境冒烟测试:运行一条最短 Agent 链路,确认环境可用。
# 环境冒烟测试示例(Python)
python -c "
from agent_core import Agent
agent = Agent(config='env_check.yaml')
result = agent.run('hello')
assert result.status == 'success', 'Environment smoke test failed'
print('Environment ready')
"
步骤三:归集并审核必要文档
- 文档清单核对:对照《AI Agent 验收文档清单》逐项确认版本与审批状态。
- 文档归档:统一存放至团队知识库(如 Confluence、Notion),并设置只读权限。
- 缺失项跟踪:对缺少的文档创建 Jira Epic,指定责任人和完成日期。
步骤四:准备初始数据与测试样本
- 测试用例数据集:包含至少 50 条覆盖正常、边界、异常场景的输入-预期输出对。
- 配置参数清单:记录 Agent 的所有可调参数及其默认值、取值范围。
- 历史运行日志:从预发环境抽取最近 7 天的 Agent 日志,用于回归对比。
- 基准性能结果:记录当前版本的首次响应时间、准确率、资源占用等基线值。
// 测试用例数据集示例(JSON)
{
"test_suite": "agent_basic_tasks",
"version": "2.0",
"test_cases": [
{
"id": "TC-001",
"description": "语义理解准确性测试",
"input": "请帮我查询明天北京的天气",
"expected_behavior": "调用天气查询API",
"expected_output": "包含'北京'和'天气'关键词的回答"
},
{
"id": "TC-002",
"description": "多轮对话上下文保持",
"input": ["我的名字是张三", "我刚才说了什么?"],
"expected_behavior": "正确引用上一轮中的名字",
"expected_output": "提及'张三'或'名字'"
}
]
}
关键检查点:四个步骤必须全部完成且互相确认后,方可进入下一阶段。验收经理每日站会同步四步骤完成度。
2.4 输入输出物
| 类别 | 输入物 | 输出物 |
|---|---|---|
| 团队 | 项目人力计划、角色 RACI 矩阵 | 《验收团队角色配置表》 |
| 环境 | 基础设施申请单、网络拓扑图 | 《验收环境配置清单》+ 冒烟测试报告 |
| 文档 | 需求文档、设计文档、API 文档草稿 | 《AI Agent 验收文档清单》+ 文档归档链接 |
| 数据 | 生产日志脱敏样本、配置模板 | 《测试数据集》+ 《配置参数清单》+ 《基准性能报告》 |
2.5 责任边界
| 角色 | 职责范围 | 决策权 |
|---|---|---|
| 验收经理 | 统筹四步骤进度、仲裁资源冲突、签署验收就绪报告 | 暂停或推迟验收启动 |
| QA 工程师 | 环境验证、测试数据集编写、基准报告产出 | 对环境可用性有一票否决权 |
| 开发代表 | 提供 Agent 部署包、修复环境阻塞缺陷 | 决定缺陷修复优先级 |
| 产品/业务负责人 | 审核文档完整性、确认测试用例覆盖业务场景 | 对功能用例的充分性有最终裁定权 |
| 架构师 | 审核非功能指标(性能、安全、可扩展)的验收标准 | 对非功能指标基线有修订权 |
2.6 记录材料
以下记录材料必须在步骤执行过程中同步填写,并作为验收就绪评审的依据:
- 《验收团队角色配置表》 — 记录成员姓名、角色、邮箱、权限清单。
- 《验收环境配置清单》 — 记录服务器/容器信息、中间件版本、网络端口、访问方式。
- 《AI Agent 验收文档清单》 — 列出所有必要文档的名称、版本、审批状态、存放链接。
- 《测试数据集版本记录》 — 记录数据集版本、用例数量、覆盖场景标签。
- 《基准性能报告》 — 记录响应时间、准确率、CPU/内存占用、P99 延迟等基线值。
模板管理建议:所有记录材料使用统一编号前缀
PRQ-(Pre-Requirement),例如 PRQ-ENV-001,便于后续追溯。
2.7 异常处理
| 异常场景 | 影响步骤 | 处理措施 | 升级路径 |
|---|---|---|---|
| 关键角色无法到位 | 步骤一 | 由验收经理协调备选人员,或申请推迟 2–3 个工作日 | 项目经理 → 部门主管 |
| 测试环境资源不足 | 步骤二 | 优先使用容器化隔离方案,或申请临时扩容 | 运维负责人 → 基础设施主管 |
| 文档版本与代码不一致 | 步骤三 | 冻结代码分支,同步更新文档至最新 commit,两者绑定 Tag | 开发负责人 + 文档管理员 |
| 测试数据集覆盖率不达标 | 步骤四 | 启动“用例补写冲刺”,由 QA + 产品在 2 天内补齐缺失场景 | QA 负责人 → 产品负责人 |
| 环境冒烟测试失败 | 步骤二 | 记录失败日志,由开发代表 4 小时内修复,重新冒烟 | 开发代表 → 验收经理 |
2.8 验收标准
本章所有操作完成时,必须同时满足以下七项标准,方可签发“验收就绪”确认:
- 角色到位率 100%:配置表中所有角色均已指定人员,且签署了职责确认书。
- 环境冒烟通过:冒烟测试报告显示 Agent 核心链路成功率 ≥ 99%。
- 文档完整度 ≥ 95%:文档清单中所有必选项均已归档,且版本号与代码 Tag 一致。
- 数据集版本已锁定:测试数据集已打 Tag,并上传至制品库,不可再随意修改。
- 基准报告已评审:架构师或技术负责人已签署基准性能报告,确认基线合理。
- 异常项已清零:2.7 节中所有已触发的异常均有关闭记录或明确的绕行方案。
- 验收经理签署:验收经理在《验收就绪检查单》上电子签名,并抄送项目组全员。
就绪标志:以上七项全部完成后,项目状态从“开发完成”变更为“验收就绪”,正式进入验收执行阶段。