4. 模型评估指标
在金融风控、量化选股、信用评分与营销响应等场景中，模型验证的核心不是“模型跑通了”，而是“模型在业务约束下是否可靠”。评估指标是验证的语言：它把模型输出翻译成可比较、可审计、可决策的信号。本节围绕回归、分类、排序、概率校准、AUC、KS、Gini、PSI、回测指标与业务指标，建立一套从统计到业务的度量框架。
一、核心原理：指标是“模型输出—业务目标”的映射
任何评估指标都包含三个要素：样本、预测与目标。回归关注连续值的偏差，分类关注阈值下的混淆矩阵，排序关注相对顺序，概率校准关注预测概率与真实频率的一致性。金融场景的特殊性在于：样本极度不平衡、时间漂移显著、误判成本不对称。因此，单一指标几乎不可能完成验证，必须组合使用。
关键判断：指标选择由“决策动作”决定。若决策是“是否放款”，核心是KS与阈值下的通过率/坏账率；若决策是“给谁更高额度”，核心是排序能力与概率校准；若决策是“模型是否可上线”，核心是PSI与回测稳定性。
二、分类与排序指标：AUC、KS、Gini 的分工
AUC衡量随机取一个正样本和一个负样本，正样本得分高于负样本的概率，等价于ROC曲线下面积。它只依赖排序，不受阈值影响，适合快速比较模型排序能力。但AUC对不平衡不敏感，且无法直接回答“在某个通过率下坏账率是多少”。
KS统计的是正负样本累计分布函数的最大差值，直接对应“最佳分割点”的区分度。在风控中，KS常与阈值联动：KS越高，说明模型越能把好坏样本拉开。Gini则是AUC的线性变换：Gini = 2 * AUC - 1，在信贷评分卡中更常被引用，因为其取值区间与业务解释更直观。
| 指标 | 关注点 | 典型场景 | 局限 |
|---|---|---|---|
| AUC | 整体排序能力 | 模型初筛、横向对比 | 不反映阈值收益 |
| KS | 最大区分度 | 风控准入阈值 | 只取一个点，易过拟合 |
| Gini | 排序能力归一化 | 评分卡、监管汇报 | 与AUC信息重复 |
| PSI | 分布稳定性 | 上线监控、漂移预警 | 不反映排序变化 |
三、概率校准与PSI：从“排序对”到“概率准、分布稳”
很多模型AUC很高，但预测概率严重偏高或偏低。概率校准检验的是：预测为0.1的样本中，真实坏样本比例是否接近10%。常用校准方法包括Platt Scaling、Isotonic Regression，评估指标有Brier Score与校准曲线。金融定价、预期损失计算必须依赖校准后的概率，否则资本计提会失真。
PSI（Population Stability Index）衡量训练集与当前样本的分数分布差异。经验阈值：PSI<0.1稳定，0.1~0.25需关注，>0.25显著漂移。PSI不关心标签，因此可在无标签的线上环境持续监控，是模型上线后的“体温计”。
PSI = Σ (Actual% - Expected%) * ln(Actual% / Expected%)
# 分箱后逐箱计算，通常取10~20箱
# 示例：训练集坏样本率5%，线上坏样本率8%，需结合KS与通过率综合判断常见误区：把PSI高直接等同于模型失效。PSI高可能来自客群变化、营销活动或分箱边界调整。正确做法是：PSI预警 → 检查特征分布 → 检查KS/AUC是否同步下降 → 再决定是否重训。
四、回测指标与业务指标：验证的最后一公里
回测是把模型放回时间轴上，用历史滚动窗口模拟真实决策。核心回测指标包括：滚动AUC/KS的均值与标准差、分层回测的单调性、通过率与坏账率的权衡曲线。业务指标则直接对应损益：审批通过率、逾期率、回收率、营销响应率、单位客户利润。验证报告必须同时呈现统计指标与业务指标，否则无法回答“模型值多少钱”。
- 滚动窗口：按时间切分训练/验证/测试，避免未来信息泄露。
- 分层单调性：按评分分箱，坏账率应单调递减，否则模型可解释性存疑。
- 阈值扫描：输出不同通过率下的坏账率与利润，供业务选择。
- 压力测试：在极端样本（如经济下行期）上单独评估，观察指标衰减。
五、案例复盘：一次评分卡验证的指标冲突
某消费金融评分卡在测试集上AUC=0.78、KS=0.42，表现良好。但上线三个月后PSI升至0.31，KS降至0.29，通过率不变而逾期率上升1.8个百分点。复盘发现：训练集来自疫情前，线上客群年轻化，收入特征分布右移。团队最初只看AUC，忽略了PSI与业务指标联动。修正方案是：引入时间衰减权重重训，并将PSI纳入每日监控，设置0.2为自动预警线。
验证清单：① 统计指标是否达标；② 概率是否校准；③ PSI是否稳定；④ 回测是否单调；⑤ 业务指标是否可解释；⑥ 阈值是否与风险偏好一致。六项全部通过，模型才具备上线资格。
指标不是越多越好，而是要形成“排序—校准—稳定—回测—业务”的闭环。Optuna调优时，目标函数也应优先选择与业务最相关的组合指标，例如在约束KS≥0.35的前提下最大化利润，而非盲目最大化AUC。