3. 规则效果评估指标：准确率、召回率、F1-score、AUC-ROC、KS值、Lift值

在规则引擎上线前或迭代后，必须用量化指标衡量其决策质量。单一指标往往存在盲区，因此业界通常组合使用以下六类核心指标，从区分能力、排序能力和业务增益三个维度进行综合评估。

3.1 混淆矩阵：所有指标的计算基础

所有分类指标均源自混淆矩阵的四个基本单元。规则引擎输出“通过/拒绝”二分类结果，与真实标签交叉形成以下结构：

3.2 准确率与召回率：基础覆盖能力

准确率（Precision）衡量规则引擎“拒绝的客户中有多少确实是坏人”，反映规则的精确打击能力。
召回率（Recall）衡量“所有坏人中有多少被规则成功拦截”，反映规则的覆盖能力。

• Precision = TP / (TP + FP) —— 高准确率意味着误伤少。
• Recall = TP / (TP + FN) —— 高召回率意味着漏网少。

两者通常呈负相关：收紧规则会提升准确率但降低召回率；放宽规则则相反。单一指标无法反映全貌，因此引入 F1-score 作为调和平均。

F1-score = 2 × (Precision × Recall) / (Precision + Recall)

F1-score 在准确率和召回率之间取得平衡，适用于正负样本相对均衡的场景。当样本极度不平衡时，可考虑加权 F-beta 指标。

3.3 AUC-ROC：排序能力与全局区分度

AUC-ROC（Area Under the Receiver Operating Characteristic Curve）衡量规则引擎对好坏客户的排序能力。ROC 曲线以 FPR（假正率 = FP / (FP + TN)）为横轴，TPR（真正率 = Recall）为纵轴，绘制不同阈值下的表现。

• AUC = 0.5：规则无区分能力，等同于随机猜测。
• AUC > 0.75：规则具备较好的区分能力。
• AUC = 1.0：规则完美区分好坏客户（实际中极少出现）。

AUC-ROC 的优势在于不依赖固定阈值，能够反映规则引擎在全量排序下的整体质量。对于规则引擎，通常将规则得分或规则命中数量作为排序依据，计算 AUC。

3.4 KS 值：最大区分能力点

KS（Kolmogorov-Smirnov）值衡量规则引擎在某个阈值下，好坏客户累计分布的最大差异。计算公式为：

KS = max( |TPR - FPR| )

KS 值越高，说明规则在某个分数段上对好坏客户的区分能力越强。通常：

• KS < 0.2：区分能力弱，规则基本无效。
• KS 0.2 ~ 0.4：区分能力中等，可接受。
• KS 0.4 ~ 0.6：区分能力强，规则效果优秀。
• KS > 0.75：需警惕过拟合或数据泄露。

3.5 Lift 值：业务增益量化

Lift（提升度）衡量规则引擎相比随机筛选，在目标群体中捕获坏客户的倍数。计算公式为：

Lift = (TP / (TP + FP)) / (坏客户总数 / 总样本数)

Lift 值常用于业务决策：

• Lift = 1：规则效果等同于随机，无增益。
• Lift > 1：规则有效，值越大增益越高。
• Lift < 1：规则起反作用，不如随机拒绝。

在规则引擎中，通常绘制 Lift 曲线（按规则得分降序排列，计算每分箱的 Lift 值），观察规则在头部群体的捕获效率。

3.6 指标选择策略与组合建议

不同业务场景下，指标的重要性权重不同。以下表格总结了各指标的适用场景：