第1章:课程概览与交付成果
1.1 适用场景
当产品团队使用RICE模型(Reach, Impact, Confidence, Effort)进行需求优先级排序时,Confidence(置信度)往往是主观判断最薄弱的环节。传统RICE将置信度分设为80%、50%、20%三档,但缺乏客观校准手段,导致低置信度需求被错误地排在高优先级,或高置信度需求被低估。
本课程适用于以下具体场景:
- 新功能上线前优先级争议:多个需求仅有定性调研和行业对标,置信度判断分散在80%~20%之间。
- 已有功能迭代优化:团队对某项假设(如按钮颜色、文案表述)的置信度较高,但缺乏A/B测试数据佐证。
- 跨角色评审RICE打分:产品、设计、工程、数据分析师对同一需求的Confidence评分差异超过两档。
- 季度/双月OKR需求筛入:从需求池筛选Top N需求时,需要统一的置信度校准基线。
1.2 前置条件
参与本课程的学员和团队需满足以下条件:
| 条件类别 | 具体要求 |
|---|---|
| 团队角色 | 产品经理、产品运营、数据分析师、技术负责人(至少2人同时参加) |
| 数据基础 | 已有至少1个完整A/B测试实验的经验;了解样本量计算与统计显著性概念 |
| 工具准备 | 团队内部使用的需求管理工具(如Jira、Trello、飞书多维表格)和A/B测试平台(如Optimizely、GrowthBook、自研平台) |
| 前置产出 | 已完成至少5个需求的RICE打分表(含原始Confidence值) |
1.3 RICE模型简介
RICE模型由Intercom产品经理团队提出,用于需求优先级排序的评分框架。四个维度的含义与权重如下:
| 维度 | 全称 | 度量方式 | 典型范围 |
|---|---|---|---|
| Reach | 触达用户数 | 在特定时间窗口内(如30天)会影响到的独立用户数 | 100 ~ 100,000 |
| Impact | 用户影响程度 | 定性分级:重磅(3x)、高(2x)、中(1x)、低(0.5x) | 0.5x ~ 3x |
| Confidence | 置信度 | 对Reach和Impact估计的可靠程度:高(100%)、中(80%)、低(50%) | 50% ~ 100% |
| Effort | 工程投入 | 开发所需的“人-周”数(含前端+后端+测试) | 1 ~ 20 |
常见误区:Confidence常被误设为80%(默认值),导致所有需求置信度“扁平化”。本课程的目标是用真实A/B测试结果校准这一主观判断。
1.4 A/B测试校准置信度的价值
通过A/B测试的实验数据反向修正RICE中的Confidence值,核心价值体现在:
- 降低主观偏差:将Confidence从“拍脑袋”变为“实验驱动的后验概率”,减少集体决策中的确认偏误。
- 提升资源分配效率:校准后的RICE排序,使高置信度、高影响度的需求被优先执行,减少低置信度需求的资源浪费。
- 形成量化反馈闭环:每次校准后更新Confidence系数,长期积累形成团队专属的“置信度经验库”。
- 对齐跨角色认知:产品、设计、工程基于同一套实验数据讨论Confidence,消除“我感觉”式的争论。
1.5 交付物清单
完成本课程所有章节后,学员/团队需产出以下实体交付物:
| 交付物编号 | 名称 | 格式 | 预期内容 |
|---|---|---|---|
| D1 | 校准前RICE打分表 | Excel / 飞书多维表格 | 含原始Confidence值的Top 10需求清单 |
| D2 | A/B测试实验设计卡片 | 看板卡片 / 文档模板 | 假设、指标、样本量、实验配置、成功标准 |
| D3 | 置信度校准计算器 | Google Sheets / Python脚本 | 输入实验结果,自动输出校准后Confidence值 |
| D4 | 校准后RICE打分表 | Excel / 飞书多维表格 | 更新Confidence后的需求优先级排序 |
| D5 | 校准报告 | PDF / 飞书文档 | 校准前后对比、最大Delta需求说明、经验总结 |
建议:将D1和D4作为对比基线嵌入到周会/迭代评审中;D5作为团队知识沉淀归档到需求决策Wiki。
1.6 责任边界
| 角色 | 职责范围 | 不受权事项 |
|---|---|---|
| 产品经理(主持) | 组织RICE打分;筛选待校准需求;主持校准会议 | 不得跳过实验设计直接修改Confidence |
| 数据分析师 | 计算先验Confidence的基线;设计实验样本量;输出后验置信区间 | 不参与需求排序决策,仅提供数据 |
| 开发工程师 | 评估Effort投入;实现A/B测试代码埋点 | 不参与Confidence校准讨论,除非需求涉及技术假设 |
| 运营/设计 | 提供定性用户洞察,作为先验Confidence的论据 | 对统计结果不拥有最终解释权 |
1.7 记录材料
每轮校准需留存以下记录:
- 校准日志:每次校准会议纪要(含参会人、时间、讨论的原Confidence值、最终校准值)
- 实验设计文档:假设、指标、样本量计算过程、实验开始与结束时间
- 统计结果截图:A/B测试平台的原始结果页(或Jupyter Notebook输出)
- 校准前后对比表:至少包含字段:需求ID、原始Confidence、校准后Confidence、校准依据(实验ID)
1.8 异常处理
异常1:A/B测试结果不显著(p>0.05)→ 不修改Confidence值,标记为“证据不足”,记录实验失败原因,择机重试。
异常2:实验过程中遇到流量不足或用户行为异常 → 延长实验周期至达到最小样本量;若无法满足,放弃校准该需求。
异常3:校准后Confidence冲突(产品经理与数据分析师对结果解读不一致)→ 以实验效应量置信区间为准,Confidence设为区间下限的中位数。
异常2:实验过程中遇到流量不足或用户行为异常 → 延长实验周期至达到最小样本量;若无法满足,放弃校准该需求。
异常3:校准后Confidence冲突(产品经理与数据分析师对结果解读不一致)→ 以实验效应量置信区间为准,Confidence设为区间下限的中位数。
1.9 验收标准
完成本章学习后,学员应能:
- 准确复述RICE四个维度的定义、度量方式及典型取值范围
- 明确指出传统RICE模型中Confidence子模块的主观偏差问题
- 区分本课程与传统RICE打分流程的差异(增加校准环节)
- 清点并完整输出交付物D1~D5的初始模板