陷阱二:Impact评分主观偏差
适用场景
- 团队成员对“Impact”理解不一致,评分完全凭感觉。
- 同一特性在不同评审轮次中被打出悬殊分数。
- 高级工程师或产品经理的“个人偏好”左右了最终优先级。
- 缺少可量化的Impact度量标准(如用户数、收入、效率提升百分比)。
前置条件
- 已定义RICE框架中的Impact(预期影响)维度。
- 至少两名及以上评审人员参与评分。
- 已收集特性/需求的基础数据(用户规模、业务转化率等)。
操作步骤
- 建立统一度量标尺:将Impact分为1~5档,每档绑定硬指标。
- 去除“个人偏好”因子:采用独立评分、匿名评分或“德尔菲法”多轮收敛。
- 校准参照案例:用2~3个历史特性作为锚点,统一团队对分数的尺度感。
- 记录评分理由:每个Impact分数必须附带一句业务逻辑或数据支撑。
- 交叉验证:随机抽取20%特性,由非评分者核查分数与理由的匹配度。
输入输出物
| 类型 | 输入物 | 输出物 |
|---|---|---|
| 必需 | 产品特性清单、历史Impact样例数据 | 统一Impact评分指南(含量化标尺) |
| 可选 | 用户画像、行业基准报告 | 评分校准记录表、偏差分析报告 |
责任边界
- PM / 技术负责人:制定并对齐Impact度量标准;组织校准会。
- 评审小组:独立评分,确保理由可追溯。
- QA / 数据运营:提供量化数据支撑(DAU、GMV、转化率等)。
记录材料
Impact评分校准记录表(示例)
| 特性ID | 特性名称 | 原始分(人A) | 原始分(人B) | 原始分(人C) | 校准后分 | 偏差原因 |
|--------|------------------|-------------|-------------|-------------|----------|------------------------|
| F-001 | 一键导出报表 | 4 | 2 | 3 | 3 | B误用用户覆盖而非影响力|
| F-002 | 首页加载优化 | 5 | 5 | 4 | 5 | 一致,高收入影响 |
| F-003 | 暗黑模式 | 1 | 3 | 2 | 2 | A忽略潜在付费用户偏好 |
异常处理
- 偏差>1.5档:暂停该特性评分,由负责人组织二次校准会。
- 全员评分高度离散:检查是否缺少定义档位的业务指标,补全后再评分。
- 个人偏好持续干扰:强制采用“盲评+随机分组”机制,隔离强势发言者影响。
验收标准
- 同一特性由不同人员评分,标准差 ≤0.5档。
- 所有Impact分数都有对应的数据或逻辑理由,且理由可公开评审。
- 校准后优先级与业务目标(如OKR)对齐度 ≥90%。