第4章 Confidence 指标详解:信心等级定义、判断依据、数据支撑要求
本章定位 —— Confidence 是 RICE 评分中唯一度量“不确定性”的维度。没有数据支撑的 Reach/Impact/Effort 只是估算,而 Confidence 直接决定了这些估算是否值得被纳入 Roadmap 决策。本章提供从等级定义到异常处理的完整 SOP。
4.1 适用场景
- 产品团队对功能或需求进行 RICE 评分,需要为每个维度(Reach / Impact / Effort)附加信心等级。
- 跨部门评审时,需要统一信心语言,避免“我感觉很确信”之类的主观表述。
- Roadmap 排期中需要过滤低置信度项目,或为低置信度项目预留验证 Buffer。
- 季度复盘时追踪 Confidence 变化,检验前期假设是否被验证或证伪。
4.2 前置条件
- RICE 的 Reach / Impact / Effort 已完成初次估算(允许使用 T 恤尺码或数值范围)。
- 团队已收集至少一个数据来源:历史实验报告、用户行为日志、竞品分析、原型测试结果或行业基准。
- 已指定“信心判定人”(通常为需求提出方 + 一名数据专员),避免单人主观偏差。
- 组织已定义 Confidence 等级与百分比/分数的映射表(见 4.3 节)。
4.3 信心等级定义
Confidence 采用 三级制,每个等级对应明确的证据类型和可操作阈值。此定义为组织级标准,不可在项目中自行修改。
| 等级 | 分值 | 证据类型 | 典型场景示例 |
|---|---|---|---|
| 高 High |
100% | 直接实验 / 同场景历史数据 / 大规模定量分析 | “该功能在 A/B 实验中提升转化率 2.1%,样本量 50 万,p<0.01。”或“上一季度相同用户群做过完全一致的功能,数据可复现。” |
| 中 Medium |
80% | 间接证据 / 强逻辑推理 / 小样本验证 / 竞品对标 | “竞品上线类似功能后留存提升 3%,我们用户画像相似。”或“原型测试 15 人,8 人完成核心任务,任务时长缩短 40%。” |
| 低 Low |
50% | 团队假设 / 用户访谈(≤5 人)/ 二手资料 / 行业传闻 | “3 位大客户在访谈中提到需要此功能,但未做付费意愿验证。”或“参考某行业报告中的趋势预测,无一手数据。” |
评分计算规则 —— 每个 RICE 维度(Reach / Impact / Effort)可独立标注 Confidence,最终项目 Confidence 取三者的最小值(保守原则)。例如:Reach 估算置信度 High(100%),Impact 为 Medium(80%),Effort 为 Low(50%),则项目 Confidence = 50%。
4.4 判断依据
判定某个维度属于哪个等级时,依次回答以下三个问题(按优先级从高到低):
- 是否有直接实验数据? —— 相同用户、相同场景、可复现结果 → High。
- 是否有间接证据或小样本验证? —— 竞品数据、原型测试、相关性分析 → Medium。
- 是否仅凭假设或二手资料? —— 无任何一手数据支撑 → Low。
若同时满足多条,取最高等级。但若存在 反证数据(如内部实验显示负面效果),则 Confidence 直接降至 Low,并标记为“待验证”。
4.5 数据支撑要求
每个 Confidence 等级对数据源的最低可接受标准如下表。未达标准时不得给出对应等级,只能降级或标记为“数据不足”。
| 等级 | 最低样本量 | 数据时效 | 文档要求 |
|---|---|---|---|
| High | ≥ 10,000 用户 或 统计功效 ≥ 80% | 过去 6 个月内 | 实验报告 / 分析看板截图 + 置信区间说明 |
| Medium | ≥ 50 用户(定量)或 5~15 人(定性) | 过去 12 个月内 | 测试纪要 / 竞品分析文档 / 数据摘要 |
| Low | 无最低要求,但需注明假设依据 | 不限 | 访谈笔记 / 行业报告摘录 / 假设清单 |
4.6 操作步骤(SOP)
以下步骤由需求负责人执行,数据专员复核,产品总监终审。
- 收集证据包 —— 针对 Reach / Impact / Effort 分别整理已有数据源,填写《证据清单》(见 4.8 记录材料)。
- 对照等级表初判 —— 按 4.3 节定义,为每个维度打上 High / Medium / Low。
- 校验数据门槛 —— 对照 4.5 节最低要求,确认样本量、时效、文档完整性。不满足则降级。
- 反证检查 —— 搜索是否有内部实验或用户反馈指向相反结论。如有,标记为 Low 并附加“待验证”标签。
- 三人复核会签 —— 需求负责人 + 数据专员 + 产品总监 在《信心判定表》上签字或电子签章。
- 录入 RICE 计算器 —— 将 Confidence 值(50% / 80% / 100%)填入评分系统,并附上证据包链接。
4.7 输入输出物
| 类型 | 名称 | 格式/模板 | 责任人 |
|---|---|---|---|
| 输入 | 需求估算卡(含 Reach / Impact / Effort 初步值) | Notion 页面 / 电子表格 | 需求负责人 |
| 输入 | 证据包(实验报告 / 日志 / 访谈纪要 / 竞品分析) | PDF / 在线看板 / 文档链接 | 数据专员 |
| 输出 | 《信心判定表》(含三个维度的等级、分值、证据摘要) | 标准化模板(见 4.8) | 需求负责人 |
| 输出 | Confidence 标签(计入 RICE 总评分) | 系统记录 | 产品运营 |
4.8 责任边界
- 需求负责人:对证据的真实性和完整性负责,发起判定流程,完成初判。
- 数据专员:验证数据源合规性(样本量、时效、统计方法),对数据造假一票否决。
- 产品总监:终审 Confidence 等级是否合理,对“低置信度高优先级”项目有强制标记权。
- 研发代表:仅对 Effort 维度的 Confidence 提供技术可行性证据,不参与 Reach / Impact 判定。
- 不得出现:单人完成全部判定、无数据源的 High 等级、未做反证检查直接定级。
4.9 记录材料
每个项目必须留存以下材料,归档至项目 Wiki 或共享知识库:
- 《信心判定表》 —— 包含:项目 ID、需求标题、三个维度的 Confidence 等级与分值、证据摘要、数据源链接、判定人签名、判定日期。
- 《证据清单》 —— 列出每条证据的名称、类型(实验/日志/访谈/竞品)、样本量、时效、获取日期。
- 《反证检查记录》 —— 无论是否发现反证,均需记录检查范围与结论。
【信心判定表示例】
项目 ID: REQ-2025-0412
需求标题: 会员中心“一键续费”优化
维度 等级 分值 证据摘要 数据源链接
Reach High 100% 近3月10万活跃会员,续费页PV 8万 dashboard://renewal-pv
Impact Medium 80% 原型测试12人,续费时长缩短35% test://prototype-v2
Effort Low 50% 仅后端评估,无相似模块历史数据 task://effort-estimate
项目 Confidence: 50%(取最小值)
判定人: 张三(需求) / 李四(数据) / 王五(总监)
日期: 2025-03-21
4.10 异常处理
| 异常场景 | 处理方式 | 输出标记 |
|---|---|---|
| 证据包数据不足,无法达到 Low 等级标准 | 暂不评分,标记为“数据缺失”,进入快速验证 Sprint | Confidence = 0%(不参与 RICE 计算) |
| 三方复核意见不一致(如一人判 High,两人判 Medium) | 取最低等级,并在《信心判定表》备注异议点 | Confidence = Medium (80%),附异议说明 |
| 判定后发现反证数据(如新实验与原有 High 证据冲突) | 立即触发重新判定,Confidence 降为 Low,标记“待验证” | Confidence = 50% + 待验证标签 |
| 数据源超时效(如超过 6 个月 / 12 个月) | 降级处理:6~12 月内旧数据最高只能判 Medium;超过 12 月只能判 Low | 按降级后等级赋值 |
4.11 验收标准
一个合格的 Confidence 判定过程须满足以下所有条件:
- ✅ 每个维度(Reach / Impact / Effort)均有独立 Confidence 等级,且三者在《信心判定表》中可溯源。
- ✅ 每个等级对应的数据源链接或文档附件可直达原始数据。
- ✅ 样本量和时效符合 4.5 节最低标准,无超期未降级情况。
- ✅ 反证检查记录非空,且结论与最终 Confidence 等级逻辑一致。
- ✅ 三方会签完整,无缺失签名。
- ✅ 异常场景(如有)已按 4.10 节处理,并附加对应标记。
验收由产品总监或质量管理专员在每月 Roadmap 评审会上抽查 20% 的项目。抽查不合格率 > 15% 时,全体需求负责人需重新参加 Confidence 判定培训。
⚠️ 常见反例
· “我很有信心,因为客户在会议上强烈要求。”—— 这是 Low 等级,50%。
· “竞品做了,所以我们也行。”—— 这是 Medium 等级,80%。
· “我们内部有完整实验报告,但样本量只有 200 人。”—— 若统计功效达标仍可判 High,否则降为 Medium。
· 忽略反证数据直接给 High → 违反 4.4 节反证检查规则,判定无效。
· “我很有信心,因为客户在会议上强烈要求。”—— 这是 Low 等级,50%。
· “竞品做了,所以我们也行。”—— 这是 Medium 等级,80%。
· “我们内部有完整实验报告,但样本量只有 200 人。”—— 若统计功效达标仍可判 High,否则降为 Medium。
· 忽略反证数据直接给 High → 违反 4.4 节反证检查规则,判定无效。