第3章 RICE原始评分采集:来源、格式、信任度标记
3.1 适用场景
本章流程适用于以下需要进行RICE原始评分采集的环节:
- 新产品功能列表首次进入优先级评估管道时
- 季度/双周迭代规划前批量采集候选功能评分
- 跨团队协作时统一评分来源与格式标准
- 从不同数据渠道(专家、用户、系统)汇聚RICE原始数据
- 需要对评分质量做溯源审计的正式评估场合
关键认知:原始评分采集的质量直接决定后续校准和优先级排序的可靠性。来源不清晰、格式不统一、信任度不标记的评分,在校准阶段将被视为无效数据,必须退回重采。
3.2 前置条件
| 序号 | 前置条件 | 验收说明 |
|---|---|---|
| 1 | 已完成RICE维度定义与校准(第2章) | 各维度含义、数值范围、校准示例已发布并全员知悉 |
| 2 | 已确定待评估对象清单(Feature List) | 清单包含Feature ID、名称、简要描述,至少经过初步筛选 |
| 3 | 已分配评估责任人(Rater) | 每个Feature至少指定一位主评人,支持多人评分但需区分主次 |
| 4 | 已准备标准评分采集模板 | 模板格式统一(JSON或CSV),字段定义已冻结 |
| 5 | 评估周期与截止时间已明确 | 所有原始评分需在规定时间内提交,逾期不计入本轮校准 |
3.3 操作步骤
按照以下5个步骤完成RICE原始评分采集,每个步骤均需记录操作日志。
-
识别评分来源
确定每个评估项的评分来源类型,并记录来源详细信息。- 来源类型:专家评估(EXP)、用户调研(USR)、数据分析(DAT)、历史指标(HIS)
- 来源详情:专家姓名/工号、调研ID与样本量、数据看板链接、历史版本号
- 记录方式:在采集模板的
source字段中填写
-
采集原始评分数据
依据RICE四个维度逐项给出原始数值,确保数值在定义的范围内(Reach 1-10, Impact 1-10, Confidence 1-10, Effort 1-10)。- 先读一遍维度校准示例(第2章),对齐评分尺度
- 每个维度独立评分,不受其他维度影响
- 如果对某个维度没有足够信息,标记为
null并在备注中说明原因
-
按统一格式填写
使用标准模板将原始评分转换为结构化数据,确保字段完整、格式合规。- 字段清单:feature_id, feature_name, reach, impact, confidence, effort, source, trust_level, rater, date, notes
- 数值校验:reach / impact / confidence / effort 必须为整数或保留1位小数
- 日期格式:YYYY-MM-DD
-
标记信任度等级
根据来源的可靠性,为每条评分记录标记信任度等级(H / M / L)。- H(High):来源可靠,多方验证或权威数据
- M(Medium):来源基本可靠,有限验证
- L(Low):来源有限,未经严格验证
- 信任度标记一旦提交,在校准阶段只能由审核员调整
-
提交审核入库
评估负责人完成自检后,将评分记录提交至数据管理员,进入待校准状态。- 自检清单:所有字段非空(除备注外)、数值范围合规、信任度已标记
- 提交方式:通过指定接口上传或邮件发送至 #rice-data 频道
- 提交后24小时内完成格式校验,不合格记录退回
流程要点提示:步骤4(标记信任等级)是整个采集流程中最容易被忽视的环节。建议Rater在提交前使用自检清单逐项核对,确保每条记录都带有明确的信任度标记。L等级的评分在校准时将被赋予最低权重,需要准备补充说明材料。
3.4 输入输出物
| 类型 | 名称 | 内容说明 | 格式/载体 |
|---|---|---|---|
| 输入 | 评估对象清单 | 待评Feature列表(含ID、名称、描述) | CSV / 飞书表格 |
| 输入 | RICE维度校准标准 | 第2章产出的维度定义、数值范围、示例 | PDF / Wiki页面 |
| 输入 | 评估责任人分配表 | Feature与Rater的映射关系 | 飞书多维表格 |
| 输出 | RICE原始评分记录表 | 包含来源、格式、信任度标记的完整评分数据 | JSON / CSV |
| 输出 | 操作日志 | 各步骤操作时间、操作人、异常记录 | 系统日志 / 飞书记录 |
3.5 责任边界
| 角色 | 职责范围 | 授权行为 | 禁止行为 |
|---|---|---|---|
| 评估负责人(Rater) | 提供原始评分、标记信任度、保证数据真实性 | 填写/修改自己的评分记录 | 修改他人的评分、篡改来源信息、伪造信任度 |
| 数据审核员(Reviewer) | 校验格式完整性、信任度合理性、触发异常处理 | 退回不合格记录、要求补充材料 | 擅自修改原始评分数值、跳过格式校验 |
| 数据管理员(DBA) | 维护采集系统、归档已审核数据、确保数据安全 | 冻结已入库记录、导出全量数据 | 泄露未公开评分数据、删除历史记录 |
3.6 记录材料
标准评分采集模板(JSON格式)
{
"feature_id": "F001",
"feature_name": "用户头像上传",
"scores": {
"reach": 8,
"impact": 6,
"confidence": 7,
"effort": 3
},
"source": {
"type": "expert",
"detail": "张三 / PM-01234 / 2024-01-15"
},
"trust_level": "H",
"rater": "zhang.san@company.com",
"date": "2024-01-15",
"notes": "基于2024Q1用户反馈数据"
}
信任度标记标准卡
| 信任等级 | 标记码 | 定义说明 | 典型来源 | 校准阶段权重 |
|---|---|---|---|---|
| 高 | H | 数据来源可靠,多方验证或来自权威渠道 | 官方数据、专家组共识、A/B测试结果 | 1.0(全权重) |
| 中 | M | 数据来源基本可靠,经过有限验证 | 用户调研、单一专家评估、历史数据 | 0.7(降权) |
| 低 | L | 数据来源有限,未经严格验证 | 初步估算、假设、非正式反馈 | 0.3(大幅降权) |
⚠️ 重要提醒:信任度标记为L的评分记录,在校准阶段必须附带补充说明材料(如假设依据、估算方法)。连续3次提交L等级评分且无合理说明的Rater,将被暂停评估资格,并重新参加第2章的校准培训。
3.7 异常处理
| 异常编码 | 异常现象 | 处理方案 | 责任角色 |
|---|---|---|---|
| EXC-301 | 来源冲突:同一Feature有多个不同来源的评分且差异超过2个数值点 | 取信任度等级最高的评分;若等级相同则取评分时间最新的记录;仍无法解决的提交专家组复议 | 数据审核员 |
| EXC-302 | 格式错误:评分数值超出范围、字段缺失、日期格式不正确 | 退回至Rater重新填写,并在退回原因中注明具体错误字段;累计3次退回的Feature本轮不再接收 | 数据审核员 |
| EXC-303 | 信任度标记缺失:已提交的评分记录未标记trust_level或标记不明确 | 强制要求补充标记,否则不予入库;标记为“未知”的记录自动降为L等级 | 数据管理员 |
| EXC-304 | 超时未提交:截止时间后仍未提交评分 | 该Feature自动移出本轮评估队列,顺延至下一轮;若因不可抗力需延期,须提前48h申请 | 数据管理员 |
3.8 验收标准
本章节流程执行完毕后,须满足以下全部验收条件方可进入下一章(RICE数值校准):
- AC-1:100%的评分记录包含来源标识(source.type 非空)
- AC-2:100%的评分记录格式符合标准模板要求(字段完整、数值合规)
- AC-3:100%的评分记录带有信任度标记(trust_level ∈ {H, M, L})
- AC-4:所有异常记录均已按EXC编码处理完毕,处理记录可追溯
- AC-5:操作日志完整,包含每条评分记录的创建时间、操作人、审核人与审核时间
- AC-6:数据管理员已对入库数据执行快照备份,备份文件命名规则为
rice_raw_YYYYMMDD_HHmmss.json
验收检查清单:建议数据审核员使用以下SQL-like规则批量扫描原始评分记录——
命中该规则的记录方可进入下一章校准流程,未命中的记录全部退回。
WHERE source.type IS NOT NULL AND trust_level IN ('H','M','L') AND reach BETWEEN 1 AND 10 AND impact BETWEEN 1 AND 10 AND confidence BETWEEN 1 AND 10 AND effort BETWEEN 1 AND 10命中该规则的记录方可进入下一章校准流程,未命中的记录全部退回。