4. 阈值漂移的数学定义：决策阈值、置信度分数、ROC曲线与最佳阈值选择、漂移的统计度量（PSI、KS统计量）
在可解释AI的阈值漂移巡查中，理解其数学定义是构建自动化监控系统的基石。本章将系统阐述决策阈值、置信度分数、ROC曲线与最佳阈值选择，以及漂移的统计度量方法（PSI、KS统计量），为后续的工程实践提供理论支撑。
4.1 决策阈值与置信度分数
分类模型通常输出一个介于0和1之间的置信度分数（Confidence Score），表示样本属于正类的概率。而决策阈值（Decision Threshold）是一个截断点，用于将置信度分数转换为离散的类别标签。
| 概念 | 定义 | 示例 |
|---|---|---|
| 置信度分数 | 模型对预测结果的概率估计，范围 [0, 1] | 0.85（模型认为85%概率为正类） |
| 决策阈值 | 将置信度分数映射为离散类别的临界值 | 阈值=0.5，则0.85→正类，0.35→负类 |
| 阈值漂移 | 生产环境中模型输出的置信度分布发生变化，导致原有阈值不再最优 | 模型倾向输出更高或更低的分数 |
实践要点：阈值漂移巡查的核心是监控置信度分数的分布变化，而非仅关注最终分类结果。分数分布的整体偏移往往比单一准确率指标更早暴露模型退化。
4.2 ROC曲线与最佳阈值选择
ROC曲线（Receiver Operating Characteristic Curve）是评估分类模型在不同阈值下性能的图形化工具。它通过绘制真正例率（TPR）与假正例率（FPR）的关系，帮助数据科学家选择最优决策阈值。
- TPR（召回率） = TP / (TP + FN)
- FPR = FP / (FP + TN)
- AUC：ROC曲线下的面积，衡量模型整体区分能力
最佳阈值的选择通常基于业务成本与收益的权衡，常见方法包括：
- 约登指数（Youden's Index）：最大化 TPR - FPR
- 最小成本阈值：最小化误分类成本（需定义FP与FN的成本矩阵）
- 固定召回率/精确率：根据业务需求锁定某一指标，再优化另一指标
阈值漂移的数学表达：设原始最优阈值为 τ₀，生产环境新阈值为 τₚ。若 τₚ ≠ τ₀，且模型性能（如F1分数）下降超过预设容忍度，则判定发生阈值漂移。
4.3 漂移的统计度量：PSI与KS统计量
为了量化阈值漂移的程度，需要引入统计度量指标。最常用的两个指标是群体稳定性指标（PSI）和KS统计量（Kolmogorov-Smirnov Statistic）。
4.3.1 群体稳定性指标（PSI）
PSI衡量模型输出分数在两个时间窗口（参考窗口 vs 生产窗口）之间的分布差异。其计算公式为：
PSI = Σ (P_i - Q_i) * ln(P_i / Q_i)
其中：
- P_i：参考窗口中第 i 个分数区间的样本占比
- Q_i：生产窗口中第 i 个分数区间的样本占比
- 通常将分数划分为10个等宽区间（分箱）| PSI值范围 | 漂移程度 | 建议行动 |
|---|---|---|
| PSI < 0.1 | 无显著漂移 | 继续监控 |
| 0.1 ≤ PSI < 0.25 | 轻度漂移 | 触发预警，启动调查 |
| PSI ≥ 0.25 | 严重漂移 | 立即告警，考虑模型重训 |
4.3.2 KS统计量
KS统计量用于比较两个累积分布函数（CDF）之间的最大垂直距离。在阈值漂移场景中，它衡量参考窗口与生产窗口的置信度分数分布是否一致。
KS = max |F_ref(x) - F_prod(x)|
其中：
- F_ref(x)：参考窗口的累积分布函数
- F_prod(x)：生产窗口的累积分布函数
- KS值越大，分布差异越显著
重要区别：PSI对分布的整体形状变化敏感，而KS统计量对分布的位置偏移（均值变化）更为敏感。建议同时监控两个指标，以全面捕捉阈值漂移的不同模式。
4.4 阈值漂移的数学判定流程
综合上述概念，阈值漂移的数学判定可归纳为以下步骤：
- 定义参考窗口：选取模型上线初期或验证集上的置信度分数分布作为基准。
- 计算生产窗口分布：按固定时间窗口（如每日、每周）收集生产环境中的置信度分数。
- 计算PSI与KS统计量：分别计算两个指标，并与预设阈值比较。
- 判定漂移类型：
- 若PSI > 0.25 或 KS > 0.2，判定为分布漂移。
- 若分布漂移导致最优阈值偏移超过容忍范围（如±0.05），判定为阈值漂移。
- 触发告警：记录漂移时间、幅度、受影响模型版本，并通知运维团队。
数学表达总结：阈值漂移巡查的本质是监控 P(score | production) 与 P(score | reference) 的差异，并通过 PSI 和 KS 统计量进行量化。当差异超过业务容忍度时，触发阈值重校准或模型重训流程。