第4章 维度权重设置方法
权重设置是评分模型构建中最关键的量化环节。本章以SOP形式描述如何通过层次分析法(AHP)、专家打分法、历史数据回归法以及一致率校验,为需求评分模型的各维度分配合理权重。四种方法可单独使用,也可组合校验。
4.1 适用场景
- 层次分析法(AHP):适用于维度间存在复杂层级依赖、需要定性判断与定量结合的场景(如跨部门需求排序)。
- 专家打分法:适用于缺乏历史数据、依赖领域经验快速赋值(如新产品线初期)。
- 历史数据回归法:适用于已有大量需求-成果关联数据,可通过统计建模推断权重(如迭代成熟的敏捷项目)。
- 一致率校验:适用于所有需要验证权重合理性的场景,尤其当多源判断并存时(如AHP矩阵、多位专家打分)。
4.2 前置条件
| 条件项 | 说明 |
|---|---|
| 维度清单已定稿 | 评分维度数量通常为3~7个,不宜过多 |
| 专家资源到位 | 至少3位熟悉业务且无利益冲突的专家(AHP或打分法需参与) |
| 历史数据可用 | 回归法需要至少50条已交付需求及其成果度量(如ROI、用户满意度) |
| 工具准备 | 支持AHP矩阵计算、回归分析、一致率检验的软件或脚本(如Python、R、Excel) |
4.3 操作步骤
- 选择权重设置方法:根据前置条件与资源情况,从下图流程中选择1~2种主方法;优先推荐AHP+一致率校验组合。
- 实施层次分析法(AHP):
- 构建层次结构模型(目标层、准则层、方案层)。
- 邀请专家对同一层级两两比较重要性,生成判断矩阵。
- 计算特征向量与最大特征值,归一化得权重向量。
- 计算一致率CR = CI / RI,若CR < 0.1则接受,否则返回调整矩阵。
- 实施专家打分法:
- 设计权重分配问卷(每人给各维度打分,总和为100或1)。
- 收集至少3份有效问卷,计算算术平均或去除极值后平均。
- 计算变异系数CV = σ / μ,若CV > 0.3则需再开会对齐。
- 实施历史数据回归法:
- 选取因变量(如需求价值评分)和自变量(各维度得分),归一化预处理。
- 使用多元线性回归(如OLS),提取标准化回归系数作为权重。
- 若系数为负或未通过显著性检验(p > 0.05),需重新筛选变量或采用岭回归。
- 一致率校验(跨方法验证):
- 将两套不同方法得出的权重向量计算Spearman秩相关系数(ρ)。
- 若ρ > 0.7则视为一致性良好;否则需追溯差异根源(专家分歧、数据异常)。
4.4 输入输出物
| 类型 | 名称 | 格式/内容 |
|---|---|---|
| 输入 | 维度清单 | 结构化列表(含维度名称、描述、取值范围) |
| 输入 | 专家判断矩阵 | n×n 两两比较表(1~9标度) |
| 输入 | 历史需求数据集 | CSV格式,含各维度得分与目标变量 |
| 输出 | 权重向量 | 数组,总和为1(e.g. [0.35, 0.25, 0.20, 0.20]) |
| 输出 | 一致率报告 | 包含CR、CV、Spearman ρ的汇总表 |
4.5 责任边界
- 需求管理负责人(PM):组织专家会议,审核权重合理性,签发最终权重。
- 数据分析师:执行AHP计算、回归建模、一致率检验,输出计算过程记录。
- 业务专家:独立填写AHP矩阵或权重问卷,参与研讨对齐。
- 质量保障(QA):查验一致率指标是否达标,核验输入输出物完整性。
4.6 记录材料
必备记录清单:
- AHP判断矩阵原始表(含专家姓名、填写日期)
- 权重计算中间表(特征向量、CI、CR)
- 专家打分答卷汇总(去隐私处理)
- 回归模型摘要(含系数、p值、R²)
- 一致率校验记录(多方法对比结果、差异分析)
4.7 异常处理
| 异常现象 | 可能原因 | 处理措施 |
|---|---|---|
| AHP一致率CR ≥ 0.1 | 专家判断矩阵不一致 | 返回步骤2,调整矩阵中矛盾最大的元素,或重新邀请专家填写 |
| 专家打分法CV > 0.3 | 专家间意见严重分歧 | 组织会议对齐认知,剔除明显异常值后重新平均 |
| 回归系数出现负值或不显著 | 维度间多重共线性、样本量不足 | 进行VIF检验,剔除高度相关维度;或改用岭回归、增加样本 |
| 跨方法Spearman ρ ≤ 0.7 | 两种方法评估逻辑不一致 | 回溯两种方法的输入源,确认是否存在维度定义偏差;必要时采用德尔菲法融合 |
4.8 验收标准
- 权重向量所有元素为正且总和等于1(允许浮点舍入误差 ≤ 0.001)。
- AHP判断矩阵一致率CR < 0.1(若采用AHP)。
- 专家打分法变异系数CV ≤ 0.3(若采用专家打分法)。
- 回归法所有自变量系数显著(p < 0.05)且无多重共线性(VIF < 5)。
- 若采用多方法对比,Spearman ρ > 0.7。
- 所有原始记录、计算过程、异常处理记录归档至项目知识库。
最佳实践提示: 在大型项目中,建议先使用AHP生成基准权重,再使用历史数据回归法进行校准,最后通过一致率校验输出最终权重。该方法可同时兼顾专家经验与数据驱动,降低单一方法偏差风险。
注意事项: 权重设置一旦确认,应至少稳定使用一个迭代周期(如3个Sprint)再考虑调整,避免频繁变动导致需求排序结果失去对比基准。