第四章 Confidence 维度：数据支撑程度、团队经验、市场验证、不确定性分级
1. 适用场景
Confidence 维度用于衡量 AI 产品 RICE 评分中每个因素（Reach、Impact、Effort）的可信度。当团队面临以下场景时，必须启动 Confidence 评估流程：
- 用户规模估算依赖第三方数据或抽样模型，而非全量统计。
- 功能上线效果预测基于专家经验，缺少 A/B 测试或历史基线。
- 开发工作量评估包含新技术栈或尚未验证的算法路径。
- 市场验证仅完成概念测试（POC），未进入灰度或公测阶段。
- 不确定性分级（低/中/高）将直接影响 RICE 总分排序的权重分配。
2. 前置条件
| 条件编号 | 条件说明 | 验证方式 |
|---|---|---|
| C-01 | 已完成 Reach、Impact、Effort 三个维度的初步评分 | 检查评分表无空值 |
| C-02 | 已收集至少一种数据源（内部日志 / 第三方报告 / 专家访谈） | 数据源清单已归档 |
| C-03 | 团队已定义“低 / 中 / 高”三级不确定性标签的判定标准 | 标准文档已签批 |
| C-04 | 市场验证阶段（POC / Alpha / Beta / GA）已明确记录 | 产品路线图对应节点已标注 |
3. 操作步骤
- 构建置信度证据包 —— 汇总 Reach、Impact、Effort 三列的原始依据来源（数据报表、实验报告、工作量估算表）。
- 标记数据支撑等级 —— 按“全量数据 > 抽样统计 > 专家估算 > 假设”四级对每个依据进行标注。
- 评估团队经验置信度 —— 对照历史项目相似度：完全相同（高）、部分重叠（中）、首次尝试（低）。
- 确认市场验证层级 —— 以实际用户触达范围为准：GA（高）、Beta（中）、Alpha / POC（低）。
- 合并输出不确定性分级 —— 使用下方分级矩阵表，综合 数据支撑、团队经验、市场验证 三项结果，输出最终 Confidence 等级（高 / 中 / 低）。
4. 输入输出物
| 类型 | 名称 | 格式/规范 | 责任方 |
|---|---|---|---|
| 输入 | RICE 初始评分表（Reach/Impact/Effort） | Excel / 在线表格 | 产品经理 |
| 输入 | 数据源清单及可信度说明 | Markdown 文档 | 数据分析师 |
| 输入 | 团队经验相似度评估表 | 内部 Wiki 页 | 技术负责人 |
| 输出 | Confidence 分级矩阵（含最终评级） | 嵌入 RICE 总表的扩展列 | 产品经理 |
| 输出 | 不确定性分级说明文档 | PDF / 在线文档 | 项目助理归档 |
5. 责任边界
- 产品经理：组织 Confidence 评估会议，确保每个评分都有明确的证据关联；对最终分级结果负责。
- 数据分析师：提供 Reach 和 Impact 的数据支撑等级，标注数据采集方式和置信区间。
- 技术负责人：评估 Effort 维度的团队经验等级，明确新技术风险点。
- 市场/运营：提供当前市场验证阶段的用户规模和反馈数据。
- 项目助理：维护证据包归档，跟踪异常处理项的闭环进度。
6. 记录材料
| 材料名称 | 保存位置 | 保留周期 | 责任人 |
|---|---|---|---|
| RICE 评分原始表（含 Confidence 列） | 项目共享盘 / 协作表格 | 项目结束后 12 个月 | 产品经理 |
| 证据包（数据源截图/报告/访谈纪要） | 对应 Epic 的附件区 | 项目结束后 6 个月 | 项目助理 |
| Confidence 分级评审会议纪要 | Wiki 项目页 | 永久保存 | 项目助理 |
| 异常处理记录表 | 共享表格（锁定列） | 项目结束后 3 个月 | 技术负责人 |
7. 异常处理
异常场景 1：数据源之间冲突 —— 内部日志与第三方报告结论不一致。
处理方式：以置信度更高的数据为准（全量优于抽样，一手优于二手），并在证据包中书面说明冲突原因和最终选择依据。
处理方式：以置信度更高的数据为准（全量优于抽样，一手优于二手），并在证据包中书面说明冲突原因和最终选择依据。
异常场景 2：团队经验评估为“低”，但市场验证已到 GA 阶段 —— 出现低经验 + 高验证的矛盾组合。
处理方式：取较低等级作为最终 Confidence 的锚定值，同时触发“技能补全计划”或“外部专家咨询”降低 Effort 风险。
处理方式：取较低等级作为最终 Confidence 的锚定值，同时触发“技能补全计划”或“外部专家咨询”降低 Effort 风险。
异常场景 3：缺失关键数据源，导致无法判断数据支撑等级 —— 例如新业务线无历史日志。
处理方式：立即启动“快速调研 Sprint”（不超过 3 天），期间 Confidence 暂标记为“待定”，不得进入 RICE 排序。
处理方式：立即启动“快速调研 Sprint”（不超过 3 天），期间 Confidence 暂标记为“待定”，不得进入 RICE 排序。
8. 验收标准
| 验收项 | 验收标准 | 检查方法 |
|---|---|---|
| 证据包完整性 | 每项 Reach/Impact/Effort 评分都对应 ≥ 1 条证据记录 | 随机抽取 30% 条目核对 |
| 分级一致性 | 2 位不同角色独立评估同一功能，Confidence 等级差异不超过 1 级 | 背靠背校验 |
| 不确定性标签覆盖率 | 所有 RICE 候选功能均标记 Confidence 等级，无遗漏 | COUNTBLANK 检查 |
| 异常闭环率 | 异常处理记录表中所有项在 5 个工作日内关闭或明确延期计划 | 跟踪表状态字段检查 |
| 文档可追溯性 | 从最终 RICE 表可反向追溯到证据包中的原始文件 | 超链接 / 路径可用性测试 |
教学提示： 实际项目中，Confidence 维度最容易被忽略或“拍脑袋”。建议每次 RICE 评分前，先独立完成下方 Confidence 分级矩阵 的填写，再带入总分计算，避免主观倾向污染排序结果。
Confidence 分级矩阵（核心决策工具）
关键原则： Confidence 维度遵循“短板效应”——最终等级由三个维度中最低的那个决定。这能有效防止团队因单一维度的高分而过度乐观。上图中，即使数据支撑和经验都是“高”，只要市场验证停留在 Alpha 阶段，整体 Confidence 仍会被拉低为“中”或“低”。