第4章 Confidence 指标详解:信心等级定义、判断依据、数据支撑要求

本章定位 —— Confidence 是 RICE 评分中唯一度量“不确定性”的维度。没有数据支撑的 Reach/Impact/Effort 只是估算,而 Confidence 直接决定了这些估算是否值得被纳入 Roadmap 决策。本章提供从等级定义到异常处理的完整 SOP。

4.1 适用场景

  • 产品团队对功能或需求进行 RICE 评分,需要为每个维度(Reach / Impact / Effort)附加信心等级。
  • 跨部门评审时,需要统一信心语言,避免“我感觉很确信”之类的主观表述。
  • Roadmap 排期中需要过滤低置信度项目,或为低置信度项目预留验证 Buffer。
  • 季度复盘时追踪 Confidence 变化,检验前期假设是否被验证或证伪。

4.2 前置条件

  1. RICE 的 Reach / Impact / Effort 已完成初次估算(允许使用 T 恤尺码或数值范围)。
  2. 团队已收集至少一个数据来源:历史实验报告、用户行为日志、竞品分析、原型测试结果或行业基准。
  3. 已指定“信心判定人”(通常为需求提出方 + 一名数据专员),避免单人主观偏差。
  4. 组织已定义 Confidence 等级与百分比/分数的映射表(见 4.3 节)。

4.3 信心等级定义

Confidence 采用 三级制,每个等级对应明确的证据类型和可操作阈值。此定义为组织级标准,不可在项目中自行修改。

等级 分值 证据类型 典型场景示例
高
High
100% 直接实验 / 同场景历史数据 / 大规模定量分析 “该功能在 A/B 实验中提升转化率 2.1%,样本量 50 万,p<0.01。”或“上一季度相同用户群做过完全一致的功能,数据可复现。”
中
Medium
80% 间接证据 / 强逻辑推理 / 小样本验证 / 竞品对标 “竞品上线类似功能后留存提升 3%,我们用户画像相似。”或“原型测试 15 人,8 人完成核心任务,任务时长缩短 40%。”
低
Low
50% 团队假设 / 用户访谈(≤5 人)/ 二手资料 / 行业传闻 “3 位大客户在访谈中提到需要此功能,但未做付费意愿验证。”或“参考某行业报告中的趋势预测,无一手数据。”
评分计算规则 —— 每个 RICE 维度(Reach / Impact / Effort)可独立标注 Confidence,最终项目 Confidence 取三者的最小值(保守原则)。例如:Reach 估算置信度 High(100%),Impact 为 Medium(80%),Effort 为 Low(50%),则项目 Confidence = 50%。

4.4 判断依据

判定某个维度属于哪个等级时,依次回答以下三个问题(按优先级从高到低):

  1. 是否有直接实验数据? —— 相同用户、相同场景、可复现结果 → High。
  2. 是否有间接证据或小样本验证? —— 竞品数据、原型测试、相关性分析 → Medium。
  3. 是否仅凭假设或二手资料? —— 无任何一手数据支撑 → Low。

若同时满足多条,取最高等级。但若存在 反证数据(如内部实验显示负面效果),则 Confidence 直接降至 Low,并标记为“待验证”。

4.5 数据支撑要求

每个 Confidence 等级对数据源的最低可接受标准如下表。未达标准时不得给出对应等级,只能降级或标记为“数据不足”。

等级 最低样本量 数据时效 文档要求
High ≥ 10,000 用户 或 统计功效 ≥ 80% 过去 6 个月内 实验报告 / 分析看板截图 + 置信区间说明
Medium ≥ 50 用户(定量)或 5~15 人(定性) 过去 12 个月内 测试纪要 / 竞品分析文档 / 数据摘要
Low 无最低要求,但需注明假设依据 不限 访谈笔记 / 行业报告摘录 / 假设清单

4.6 操作步骤(SOP)

以下步骤由需求负责人执行,数据专员复核,产品总监终审。

  1. 收集证据包 —— 针对 Reach / Impact / Effort 分别整理已有数据源,填写《证据清单》(见 4.8 记录材料)。
  2. 对照等级表初判 —— 按 4.3 节定义,为每个维度打上 High / Medium / Low。
  3. 校验数据门槛 —— 对照 4.5 节最低要求,确认样本量、时效、文档完整性。不满足则降级。
  4. 反证检查 —— 搜索是否有内部实验或用户反馈指向相反结论。如有,标记为 Low 并附加“待验证”标签。
  5. 三人复核会签 —— 需求负责人 + 数据专员 + 产品总监 在《信心判定表》上签字或电子签章。
  6. 录入 RICE 计算器 —— 将 Confidence 值(50% / 80% / 100%)填入评分系统,并附上证据包链接。

4.7 输入输出物

类型 名称 格式/模板 责任人
输入 需求估算卡(含 Reach / Impact / Effort 初步值) Notion 页面 / 电子表格 需求负责人
输入 证据包(实验报告 / 日志 / 访谈纪要 / 竞品分析) PDF / 在线看板 / 文档链接 数据专员
输出 《信心判定表》(含三个维度的等级、分值、证据摘要) 标准化模板(见 4.8) 需求负责人
输出 Confidence 标签(计入 RICE 总评分) 系统记录 产品运营

4.8 责任边界

  • 需求负责人:对证据的真实性和完整性负责,发起判定流程,完成初判。
  • 数据专员:验证数据源合规性(样本量、时效、统计方法),对数据造假一票否决。
  • 产品总监:终审 Confidence 等级是否合理,对“低置信度高优先级”项目有强制标记权。
  • 研发代表:仅对 Effort 维度的 Confidence 提供技术可行性证据,不参与 Reach / Impact 判定。
  • 不得出现:单人完成全部判定、无数据源的 High 等级、未做反证检查直接定级。

4.9 记录材料

每个项目必须留存以下材料,归档至项目 Wiki 或共享知识库:

  • 《信心判定表》 —— 包含:项目 ID、需求标题、三个维度的 Confidence 等级与分值、证据摘要、数据源链接、判定人签名、判定日期。
  • 《证据清单》 —— 列出每条证据的名称、类型(实验/日志/访谈/竞品)、样本量、时效、获取日期。
  • 《反证检查记录》 —— 无论是否发现反证,均需记录检查范围与结论。
【信心判定表示例】
项目 ID: REQ-2025-0412
需求标题: 会员中心“一键续费”优化
维度       等级   分值     证据摘要                       数据源链接
Reach     High   100%  近3月10万活跃会员,续费页PV 8万  dashboard://renewal-pv
Impact    Medium 80%   原型测试12人,续费时长缩短35%     test://prototype-v2
Effort    Low    50%   仅后端评估,无相似模块历史数据    task://effort-estimate
项目 Confidence: 50%(取最小值)
判定人: 张三(需求) / 李四(数据) / 王五(总监)
日期: 2025-03-21

4.10 异常处理

异常场景 处理方式 输出标记
证据包数据不足,无法达到 Low 等级标准 暂不评分,标记为“数据缺失”,进入快速验证 Sprint Confidence = 0%(不参与 RICE 计算)
三方复核意见不一致(如一人判 High,两人判 Medium) 取最低等级,并在《信心判定表》备注异议点 Confidence = Medium (80%),附异议说明
判定后发现反证数据(如新实验与原有 High 证据冲突) 立即触发重新判定,Confidence 降为 Low,标记“待验证” Confidence = 50% + 待验证标签
数据源超时效(如超过 6 个月 / 12 个月) 降级处理:6~12 月内旧数据最高只能判 Medium;超过 12 月只能判 Low 按降级后等级赋值

4.11 验收标准

一个合格的 Confidence 判定过程须满足以下所有条件:

  • ✅ 每个维度(Reach / Impact / Effort)均有独立 Confidence 等级,且三者在《信心判定表》中可溯源。
  • ✅ 每个等级对应的数据源链接或文档附件可直达原始数据。
  • ✅ 样本量和时效符合 4.5 节最低标准,无超期未降级情况。
  • ✅ 反证检查记录非空,且结论与最终 Confidence 等级逻辑一致。
  • ✅ 三方会签完整,无缺失签名。
  • ✅ 异常场景(如有)已按 4.10 节处理,并附加对应标记。

验收由产品总监或质量管理专员在每月 Roadmap 评审会上抽查 20% 的项目。抽查不合格率 > 15% 时,全体需求负责人需重新参加 Confidence 判定培训。

信心等级判定决策树 信心等级判定决策树 维度估算值 Q1:有直接实验数据吗? 是 High (100%) 否 Q2:有间接证据吗? 是 Medium (80%) 否 继续 Q3 Q3:有假设/二手资料? 是 Low (50%) 否 缺失 (0%) 注意:若存在反证数据(内部实验显示负面效果),无论走到哪个分支, Confidence 均强制降为 Low (50%) 并标记“待验证”。
⚠️ 常见反例
· “我很有信心,因为客户在会议上强烈要求。”—— 这是 Low 等级,50%。
· “竞品做了,所以我们也行。”—— 这是 Medium 等级,80%。
· “我们内部有完整实验报告,但样本量只有 200 人。”—— 若统计功效达标仍可判 High,否则降为 Medium。
· 忽略反证数据直接给 High → 违反 4.4 节反证检查规则,判定无效。