3. 权重分配方法:专家打分法、层次分析法、数据驱动法
权重分配是产品机会评分模型的核心环节,直接决定各评分维度对最终得分的贡献程度。权重分配方法的选择需综合考虑数据基础、决策复杂度和团队能力。本章围绕三种主流权重分配方法——专家打分法、层次分析法和数据驱动法,系统梳理从方法选择到权重交付的完整SOP。
3.1 适用场景
| 权重分配方法 | 适用场景 | 典型条件 |
|---|---|---|
| 专家打分法 | 缺乏历史数据;依赖资深业务判断;快速原型验证 | 专家人数≥5人;领域经验可量化;评分维度≤12个 |
| 层次分析法 | 多准则、多层级决策;需要一致性校验;定性定量混合 | 维度层级≥2层;两两比较可行;CR检验可接受 |
| 数据驱动法 | 历史数据充足;客观性要求高;模型可解释需要 | 样本量≥200条;特征相关性稳定;业务指标清晰 |
方法选择建议: 初次搭建评分模型优先使用专家打分法快速启动;成熟期建议用数据驱动法校准;涉及多维度层次结构时采用层次分析法。三种方法可组合使用,例如先用专家打分法初定权重,再用数据驱动法微调。
3.2 前置条件
- 通用前置条件:已完成评分维度定义(参见第2章);评分指标可量化或可排序;团队具备基础统计分析能力。
- 专家打分法:成立不少于5人的专家小组;每位专家独立填写评分表;提前准备评分参照标准。
- 层次分析法:建立完整的层次结构模型;设计两两比较问卷;明确1~9标度规则。
- 数据驱动法:清洗后的样本数据集;确定目标变量与特征变量;选择适用算法(回归/熵权/因子分析等)。
3.3 操作步骤
3.3.1 专家打分法操作步骤
- 组建专家团队:选择5~10名具备领域经验的专家,覆盖产品、运营、技术、市场等角色。
- 设计评分表:明确每个维度的定义、评分标尺(如1~5分或1~100分)及参照标准。
- 多轮独立评分:专家背对背独立完成评分,避免相互干扰;一般进行2~3轮。
- 汇总与统计:计算每项维度得分的均值、标准差,剔除离群值后重新归一化。
- 反馈与收敛:将匿名统计结果反馈给专家,进行下一轮评分直至收敛(标准差≤阈值)。
- 权重归一化:将最终得分转换为权重向量,确保∑w=1。
3.3.2 层次分析法操作步骤
- 建立层次结构:将决策目标、准则层、方案层分解为树状层次模型。
- 构造成对比较矩阵:使用1~9标度法,对同层元素两两比较重要性。
判断矩阵示例(3个准则层元素):
A B C
A 1 3 5
B 1/3 1 2
C 1/5 1/2 1
- 计算权重向量:采用特征向量法或几何平均法计算相对权重。
- 一致性检验:计算一致性比率 CR = CI / RI,要求 CR < 0.10。
CI = (λ_max - n) / (n - 1)
RI 查表值(n=3时 RI=0.58)
- 层次总排序:自上而下合成各层权重,得到底层指标对总目标的综合权重。
- 归一化输出:将综合权重归一化,作为最终评分权重。
3.3.3 数据驱动法操作步骤
- 数据收集与清洗:采集与评分维度相关的历史数据,处理缺失值、异常值和标准化。
- 特征与目标定义:确定特征变量(维度指标)和目标变量(如转化率、满意度得分)。
- 选择建模方法:
- 回归分析:线性回归/岭回归,回归系数归一化后作为权重。
- 熵权法:基于信息熵计算各指标的离散程度,离散度越高权重越大。
- 因子分析:提取公共因子,以因子载荷平方占比确定权重。
- 模型训练与验证:使用交叉验证评估模型稳定性;检查特征共线性与显著性。
- 权重提取与标准化:从模型系数/载荷/熵值中提取原始权重,进行∑w=1标准化。
- 业务合理性校验:将数据驱动权重与业务预期比对,异常时回溯数据或调整模型。
3.4 输入输出物
| 方法 | 输入物 | 输出物 |
|---|---|---|
| 专家打分法 | 评分维度定义表、专家名单、评分标尺说明 | 专家评分原始记录、各轮统计汇总表、归一化权重向量 |
| 层次分析法 | 层次结构图、两两比较问卷、1~9标度规则 | 判断矩阵集合、权重向量、一致性检验报告、总排序权重 |
| 数据驱动法 | 清洗后样本数据集、特征变量列表、目标变量定义 | 模型训练日志、权重系数表、特征重要性排序、标准化权重 |
| 通用产出 | — | 权重分配方案文档(含方法说明、计算过程、最终权重表) |
3.5 责任边界
- 产品经理(主导):组织权重分配工作;确定方法选择;审核权重合理性;推动权重落地应用。
- 领域专家(参与):独立完成评分或两两比较;提供业务判断;参与结果讨论与调整。
- 数据分析师(执行):数据驱动法的数据清洗与建模;计算权重向量;输出统计报告。
- 评审委员会(监督):审核权重分配过程与结果;裁决争议;确认最终权重方案。
- 记录员(支持):保存所有原始评分记录、计算过程、会议纪要,确保过程可追溯。
3.6 记录材料
⚠ 需要归档的完整记录清单:
- 专家打分法:专家签到表、每轮评分表原件、统计汇总表、离群值处理说明。
- 层次分析法:层次结构图(含版本号)、所有成对比较矩阵、CR计算过程、权重合成表。
- 数据驱动法:数据字典、数据清洗记录、模型配置文件、训练/测试集划分、权重提取脚本或日志。
- 通用材料:权重分配方法选择决策记录、评审会议纪要、权重变更历史记录。
3.7 异常处理
| 异常场景 | 可能原因 | 处理措施 |
|---|---|---|
| 专家评分离散度过大(标准差>0.3) | 维度定义不清晰;专家背景差异过大 | 重新校准维度定义;补充评分参照案例;增加专家轮次 |
| 层次分析法CR ≥ 0.10 | 判断矩阵逻辑不一致;标度使用错误 | 返回专家修正矛盾比较对;检查1~9标度理解;重填问卷 |
| 数据驱动法权重与业务直觉严重冲突 | 数据有偏;特征共线性;目标变量代理误差 | 回溯数据分布与采集逻辑;引入业务约束(如正负号限制);采用组合权重方案 |
| 三种方法产出权重差异显著 | 各方法适用条件未充分满足 | 召开权重校准会;以数据驱动法为基准,参考专家意见调整;取加权折中方案 |
| 专家中途退出或样本量不足 | 专家资源不足;数据采集失败 | 启动备选专家机制;数据驱动法补充或降级为专家打分法 |
3.8 验收标准
- 权重完整性:所有评分维度均被覆盖,权重向量∑w=1,无遗漏或重复。
- 过程可追溯:原始评分/数据、计算过程、异常处理记录齐全,可复现权重结果。
- 一致性达标:层次分析法CR < 0.10;专家打分法标准差≤0.25(最后一轮)。
- 业务合理性:权重排序与业务预期基本吻合,偏差超过±20%时需有书面解释。
- 文档交付:权重分配方案文档包含方法选择理由、完整计算步骤、最终权重表及使用说明。
- 评审通过:经评审委员会投票通过(赞成率≥80%),权重方案正式生效。
最佳实践:权重交付后建议在试运行阶段设定1~2周的观察期,收集实际