3. 适用场景识别:确定哪些Agent原型需要RICE评估、评估时机与触发条件

并非所有Agent原型都需要启动RICE评估。盲目评估会浪费评估资源、拖慢迭代节奏,而过晚评估又可能让低质量原型流入生产环境。本章建立一套场景-时机-触发条件三维筛选机制,帮助评估团队在正确的时间对正确的原型启动RICE评估。

3.1 适用场景

以下三类场景是RICE评估的强制覆盖范围,其余场景可按资源情况灵活选择。

场景类别 触发时机 典型示例 评估优先级
A. 新原型上线 原型开发完成,首次部署前 客服对话Agent v1.0、代码生成助手初始版本 P0(必须评估)
B. 现有原型迭代 核心组件变更后 意图识别模型切换、Prompt模板重构、工具调用链路重设计 P0 / P1(视变更影响范围)
C. 生产异常触发 监控指标达到告警阈值 准确率周环比下降>5%、用户投诉率单日激增、响应延迟翻倍 P0(立即评估)
📌 场景归属判断原则:如果一个原型同时满足多个场景(例如新上线后立即出现异常),按C > A > B 的优先级顺序处理,确保生产稳定性优先。

3.2 前置条件

进行场景识别前,必须确认以下三项前置条件已就位。条件不满足时,暂不进入RICE评估,先补齐条件再重新判断。

  • 原型定义文档完整:包含功能边界、输入输出规格、依赖组件清单、已知限制。
  • 评估指标基线已建立:至少完成一次基线测试或历史数据采集,形成可对比的参照指标。
  • 评估团队已就位:明确评估负责人、执行工程师、评审人,且评估工具/环境已准备。
⚠️ 常见误区:不要将“原型还在开发中”作为跳过前置条件检查的理由。前置条件不满足时,评估结果无法落地,反而造成资源浪费。

3.3 操作步骤

场景识别分为六个子步骤,每一步的输出都将作为下一步的输入。下图的决策流程直观展示了从“原型出现”到“执行RICE评估”的完整路径。

Agent原型RICE评估适用场景决策流程 Agent原型RICE评估 — 适用场景决策流程 Agent原型 / 功能变更 / 生产事件 是否满足RICE前置条件? 场景A · 新原型上线 新原型上线 首次部署前评估 场景B · 现有原型迭代 现有原型迭代 核心功能变更 场景C · 生产异常触发 生产异常触发 准确率下降 / 异常告警 执行RICE评估 📌 前置条件:原型定义文档完整 · 评估指标基线已建立 · 评估团队已就位 📌 条件不满足时暂不进入RICE评估,完善前置条件后再重新判断

对应的六步操作清单如下:

  1. 收集原型基本信息 —— 获取原型定义文档、版本号、功能清单、最近一次评估记录(如有)。
  2. 判断原型状态类型 —— 对照上表,确定属于“新上线”、“迭代”还是“异常触发”。
  3. 检查前置条件 —— 逐项核对“原型定义文档”、“指标基线”、“团队就位”三个条件。
  4. 匹配触发条件 —— 根据状态类型,找到对应的触发条件(如“首次部署前”、“核心功能变更”、“准确率下降>5%”)。
  5. 确定评估优先级 —— 按 P0 / P1 标记,P0 必须立即启动评估,P1 可排入迭代计划。
  6. 登记评估场景 —— 将识别结果写入《适用场景识别表》,进入评估队列。

3.4 输入输出物

类型 名称 格式 / 载体 责任方
输入 Agent原型定义文档 Markdown / 内部Wiki Agent产品经理
输入 功能变更清单 Jira / 工单系统 开发工程师
输入 生产监控告警记录 监控平台 / 日志 SRE / 运维
输出 适用场景识别表 在线表格 / 文档 评估工程师
输出 RICE评估触发通知书 IM通知 / 邮件 评估工程师

3.5 责任边界

角色 职责 关键决策点
Agent产品经理 发起场景识别申请,提供原型定义文档与变更背景 判断原型是否达到“可评估”状态
评估工程师 执行条件检查、匹配触发条件、填写识别表、发送评估通知 确定评估优先级(P0 / P1)
技术负责人 审批评估启动,协调评估资源 确认评估队列优先级与资源分配
💡 协作提示:评估工程师在匹配触发条件时,若发现场景归属模糊(例如同时符合A和C),应优先与产品经理和SRE对齐信息,确保分类准确后再登记。

3.6 记录材料

每次场景识别必须填写《适用场景识别表》,该表将作为RICE评估的入口凭证。推荐使用以下JSON结构进行系统化登记:

{
  "scene_id": "SC-2025-03-001",
  "agent_name": "客服对话Agent v3.2",
  "scene_type": "B",
  "trigger_condition": "核心功能变更: 意图识别模型从BERT切换为GPT-4o",
  "priority": "P0",
  "prerequisite_check": {
    "doc_complete": true,
    "baseline_ready": true,
    "team_ready": true
  },
  "submitter": "zhang.san@company.com",
  "submitted_at": "2025-03-21T10:30:00+08:00",
  "approver": "li.si@company.com",
  "status": "approved"
}

同时保留以下纸质/在线记录备查:

  • 触发条件检查清单(逐项勾选,确认满足对应场景的触发条件)。
  • 场景识别会议纪要(当场景归属存疑时,记录讨论结论)。

3.7 异常处理

异常情形 处理措施 责任人
前置条件不满足 暂停评估,退回产品经理补充文档或基线数据;待条件满足后重新触发识别流程 评估工程师
场景归属模糊(多场景重叠) 按 C > A > B 优先级裁定;必要时召开5分钟快速对齐会 技术负责人
多个原型同时触发评估 按优先级 P0 > P1 排序;P0 并行评估,P1 进入等待队列并告知预期排期 评估工程师 + 技术负责人
触发条件已过时(如异常已自动恢复) 关闭当前识别记录,标注“条件失效”,保留日志备查 评估工程师
⚠️ 异常升级规则:若场景识别阶段出现争议且5分钟内无法对齐,评估工程师应直接将问题升级至技术负责人,避免因分类拖延导致评估阻塞。

3.8 验收标准

场景识别工作完成后,由技术负责人进行验收,以下五项标准必须全部满足方可进入下一阶段:

  • 场景分类准确:对照3.1节场景定义,所选类别与实际原型状态一致。
  • 触发条件明确:在识别表中清晰记录具体的触发事件或指标阈值,不留模糊描述。
  • 前置条件已闭合:三项前置条件全部勾选“是”,且有对应的文档/记录可查。
  • 评估优先级已确定:P0/P1标记与场景严重程度匹配,无遗漏或降级。
  • 记录已归档:适用场景识别表已提交至指定系统,触发通知书已发送给评估团队。
✅ 验收通过标志:评估工程师收到“RICE评估触发通知书”已送达的确认回执,且识别表状态变为“已核准”。