📚 课程目录第3章资产评分模型设计

3、资产评分模型设计：评分卡模型、加权平均模型、机器学习模型——如何选择与构建基础评分框架

说实话，很多团队一上来就问我：「到底用哪个模型评分最准？」

我的回答通常是——先别急着问哪个准，先问问你的数据底子撑不撑得住。我在好几个项目里见过，团队花三个月搭了个机器学习模型，结果上线一周就因为特征质量波动太大，评分结果比加权平均还离谱。嗯，这其实是个很常见的坑。

这一章，我就把三种主流评分模型掰开揉碎讲清楚：评分卡模型、加权平均模型、机器学习模型。我会结合自己的实战经验，告诉你什么场景选什么模型，以及怎么搭出一个能落地的基础框架。

  核心观点：没有「最好」的模型，只有「最合适」的模型。选择的关键在于——你的数据质量成熟度、业务可解释性要求、以及运维成本承受力。

3.1 三种模型的核心差异

先看一张对比表，帮你快速建立全局认知。我个人习惯在选型前，先把这三个维度列清楚。

维度	评分卡模型	加权平均模型	机器学习模型
可解释性	极高（每项扣分/加分一目了然）	高（权重透明）	低（需要 SHAP/LIME 辅助解释）
数据要求	低（少量指标即可）	中（需要稳定的指标定义）	高（需要大量历史标签和特征）
运维成本	低（规则固定，几乎不维护）	中（权重需定期校准）	高（特征工程+模型迭代+监控）
适用阶段	数据治理初期	数据治理中期	数据治理成熟期
典型场景	数据质量打分、合规检查	资产综合评分、供应商评级	欺诈检测、信用评分、异常识别

你想想看，如果业务方天天追着你问「为什么这个资产评分是 78 分而不是 80 分」，你拿机器学习模型的黑盒输出去解释，基本是自找麻烦。这时候评分卡模型反而更香。

3.2 评分卡模型：最朴素但最抗造

评分卡模型，说白了就是「扣分制」或「加分制」。我最早在银行做数据质量项目时，用的就是这招。每个数据质量维度设一个满分，不达标就扣分，最后汇总。

举个例子：

# 评分卡模型伪代码示例
def scorecard_evaluate(asset):
    score = 100  # 基础满分
    # 完整性扣分
    if asset.completeness < 0.95:
        score -= 10
    # 准确性扣分
    if asset.accuracy < 0.90:
        score -= 15
    # 时效性扣分
    if asset.timeliness > 24:  # 小时
        score -= 5
    # 一致性扣分
    if asset.consistency < 0.98:
        score -= 10
    return max(score, 0)  # 保底 0 分

我的经验：评分卡模型最适合「规则明确、变化缓慢」的场景。我曾经在一个政府数据共享项目中用评分卡，三年没改过规则，业务方依然买账。为什么？因为每个扣分项都能对应到具体的数据质量问题，整改起来方向清晰。

但评分卡也有硬伤——它假设每个维度是独立的。现实中，数据质量维度之间往往有耦合。比如完整性差，通常伴随着准确性也差。评分卡处理不了这种「共线性」问题。

3.3 加权平均模型：灵活与稳定的平衡点

加权平均模型，是我个人最常用的方案。它比评分卡灵活，又比机器学习可控。

核心公式很简单：

Score = w1 * x1 + w2 * x2 + ... + wn * xn

其中：
- wi 是第 i 个维度的权重（∑wi = 1）
- xi 是第 i 个维度的归一化得分（0-1 或 0-100）

但这里有个坑——权重怎么定？我见过太多团队拍脑袋定权重，结果「完整性」和「准确性」权重一样，但实际业务中准确性比完整性重要十倍。

我建议用 AHP（层次分析法） 或 熵权法 来定权重。下面是一个简单的熵权法示例：

import numpy as np

def entropy_weight(data):
    # data: 样本 x 指标 矩阵
    # 归一化
    data_norm = data / data.sum(axis=0)
    # 计算熵值
    k = 1 / np.log(data.shape[0])
    entropy = -k * (data_norm * np.log(data_norm + 1e-10)).sum(axis=0)
    # 计算权重
    weight = (1 - entropy) / (1 - entropy).sum()
    return weight

# 假设 100 个资产在 4 个维度上的得分
scores = np.random.rand(100, 4)
weights = entropy_weight(scores)
print("熵权法权重:", weights)

避坑指南：我曾经在一个项目中直接用专家打分定权重，结果「数据时效性」权重高达 0.4，但实际数据更新频率很低，导致大部分资产评分都偏低。后来改用熵权法，发现时效性的实际区分度很低，权重自动降到了 0.15。数据会说话，别替数据做决定。

3.4 机器学习模型：高阶玩家的利器

机器学习模型，适合数据量大、特征丰富、评分需要动态调整的场景。比如，你要预测一个数据资产的「未来质量趋势」，或者做「异常资产识别」，这时候 ML 模型就派上用场了。

我常用的方案是 LightGBM 或 XGBoost，因为它们对缺失值和异常值比较鲁棒，适合数据质量场景。

import lightgbm as lgb

# 特征：完整性、准确性、时效性、一致性、历史评分、数据量等
# 标签：人工标注的资产等级（A/B/C/D）
train_data = lgb.Dataset(X_train, label=y_train)
params = {
    'objective': 'multiclass',
    'num_class': 4,
    'metric': 'multi_logloss',
    'learning_rate': 0.05,
    'max_depth': 5,
    'num_leaves': 31,
    'feature_fraction': 0.8,
}
model = lgb.train(params, train_data, num_boost_round=100)
# 输出每个资产的等级概率
probs = model.predict(X_test)

但这里我要泼一盆冷水——机器学习模型不是万能的。我见过一个团队，把 20 多个数据质量指标全塞进模型，结果特征之间高度相关，模型过拟合严重，上线后评分结果忽高忽低。后来我帮他们做了特征筛选，只保留了 8 个核心特征，效果反而更稳定。

  关键原则：机器学习模型的特征数量，不要超过样本量的 1/10。如果你的历史标注数据只有 500 条，那特征别超过 50 个。否则就是过拟合的温床。

3.5 如何选择？一张决策流程图

下面这张 SVG 流程图，是我在项目里经常用来跟团队对齐选型思路的。你可以直接拿去用。

3.6 构建基础评分框架的四个步骤

不管选哪种模型，基础框架的搭建逻辑是通用的。我总结为四步：

定义评分维度：完整性、准确性、时效性、一致性、唯一性、规范性。这六项是数据质量的基础，缺一不可。
确定评分粒度：按字段评分？按表评分？按系统评分？粒度越细，问题定位越准，但计算量越大。我建议先按表粒度，后续再下钻。
设定评分区间：0-100 分制还是 A/B/C/D 等级制？我个人偏好百分制，因为可以更精细地排序。但业务方如果看不懂，就转成等级制。
建立基线版本：第一次评分结果就是基线。后续每次评分都要跟基线对比，看趋势是变好还是变差。没有基线的评分，就是空中楼阁。

一个小技巧：基线版本建议用「加权平均模型」来搭，因为它的参数最少，出问题容易排查。等跑通三个月，数据积累够了，再考虑要不要上机器学习。

3.7 避坑总结

最后，我把这些年踩过的坑列出来，你直接拿去当 checklist：

不要追求模型复杂度：能用一个公式解决的问题，别用神经网络。我见过用深度学习做数据质量评分的，效果还不如线性回归。
不要忽略数据质量本身的波动：如果源系统经常宕机，你的评分模型再准也没用。先治本，再治标。
不要一次性上全量维度：先选 3-5 个核心维度跑起来，再逐步扩展。我刚开始做的时候，一次性上了 12 个维度，结果运维团队直接崩溃。
不要忘记模型监控：评分模型上线后，要监控评分分布是否偏移。如果连续两周评分均值下降超过 10%，赶紧排查是数据问题还是模型问题。