3. 一致性监控核心概念

线上线下一致性监控，本质上是在回答一个问题：同一笔申请、同一个客户，在离线训练环境与线上生产环境中，是否得到了可解释、可复现、可接受的相同结论？要回答这个问题，不能只看一个指标，而要从特征、分数、决策三个层次逐级拆解，并配合稳定性与区分度指标形成完整的监控体系。

一、三层一致性：从特征到决策的递进关系

一致性监控不是单一维度的比对，而是三层递进结构。理解这三层，是设计监控方案的基础。

• 特征一致性：同一客户在离线特征表和线上特征服务中，同一特征取值是否一致。这是最底层、也是最容易被忽视的一层。特征不一致，后续分数和决策必然失真。
• 分数一致性：在特征一致的前提下，离线模型打分与线上模型打分是否一致。它反映模型加载、版本、预处理逻辑是否对齐。
• 决策一致性：在分数一致的前提下，离线策略与线上策略给出的通过/拒绝/人工复核等决策是否一致。它反映阈值、规则、策略版本是否对齐。

二、稳定性指标：PSI与CSI

PSI（Population Stability Index）和CSI（Characteristic Stability Index）是监控分布稳定性的核心指标。PSI通常用于监控分数分布或整体客群分布的变化，CSI则用于监控单个特征分布的稳定性。

PSI的计算逻辑是：将预期分布与实际分布分箱后，计算每个箱内占比差异的加权和。公式如下：

PSI = Σ (Actual% - Expected%) × ln(Actual% / Expected%)

其中：
Expected%：基准期（如训练期）该箱样本占比
Actual%：监控期（如线上近期）该箱样本占比
ln：自然对数

CSI与PSI计算方式相同，区别在于CSI针对单个特征，PSI针对分数或整体客群。实践中常用阈值如下：

指标	监控对象	常用阈值	含义
PSI	分数分布、客群分布	<0.1 稳定；0.1~0.25 需关注；>0.25 显著偏移	整体分布是否发生迁移
CSI	单个特征分布	同上，可按特征重要性分级	特征层面是否发生漂移
KS	模型区分度	线上KS较离线下降超过20%需预警	模型排序能力是否衰减
AUC	模型区分度	线上AUC较离线下降超过0.03需关注	整体区分能力是否下降

三、区分度指标：KS与AUC

KS和AUC用于衡量模型的区分能力。KS反映的是好坏样本累计分布的最大差值，AUC反映的是模型将正样本排在负样本前面的概率。两者在一致性监控中的角色是：判断线上模型是否仍然具备与离线相当的区分能力。

需要注意的是，KS和AUC本身不直接衡量一致性，而是衡量效果。它们必须与特征一致性、分数一致性结合使用。例如，线上AUC下降，可能是特征漂移导致，也可能是分数映射错位导致，需要进一步下钻。

四、方法流程：一致性监控的落地步骤

一致性监控的落地不是一次性任务，而是一个持续运行的流程。建议按以下步骤推进：

1. 确定监控对象：明确哪些特征、哪个模型、哪条策略需要纳入监控。优先覆盖高重要性特征和高频决策链路。
2. 建立基准：以离线训练集或最近一次全量验证结果为基准，记录特征分布、分数分布、KS、AUC等基准值。
3. 采集线上样本：按固定窗口（如T+1）采集线上实际请求的特征值、分数和决策结果。
4. 逐层比对：先比特征一致性，再比分数一致性，最后比决策一致性。任何一层不一致，都要记录差异率和差异样本。
5. 计算稳定性与区分度：计算PSI、CSI、KS、AUC，与基准值对比，判断是否触发预警。
6. 归因与复盘：对触发预警的指标，下钻到具体特征、具体分箱、具体样本，定位是数据问题、代码问题还是策略问题。

五、案例场景：一次分数不一致的排查

某信贷模型上线后，监控发现线上AUC较离线下降0.05，PSI为0.18，处于需关注区间。进一步排查发现：

• 特征一致性比对中，某收入类特征线上缺失率比离线高12%，原因是线上特征服务对该字段的默认值处理与离线不一致。
• 分数一致性比对中，同一批样本离线分数与线上分数差异超过0.02的占比达到8%，集中在缺失该特征的客群。
• 决策一致性比对中，该客群线上通过率比离线低6个百分点，导致整体通过率偏移。

最终定位为特征服务默认值逻辑与离线预处理不一致。修复后，PSI回落至0.06，AUC恢复至离线水平。这个案例说明：分数和决策的不一致，根因往往在特征层。

六、复盘要点与常见误区

在实际项目中，一致性监控容易陷入以下误区：

• 误区一：只做离线复盘，不做线上实时比对。离线复盘只能发现历史问题，无法及时发现线上异常。
• 误区二：阈值一刀切。不同重要性特征、不同客群，PSI/CSI阈值应差异化设置。
• 误区三：忽略样本对齐。线上线下比对必须基于同一批样本、同一时间窗口，否则比对结果无意义。
• 误区四：只监控不闭环。监控发现异常后，必须有归因、修复、验证的闭环流程，否则监控形同虚设。

建议在监控体系中加入差异样本留存机制，对不一致的样本保留特征快照、分数快照和决策快照，便于后续复盘和模型迭代。同时，将一致性监控结果纳入模型上线准入和持续评估流程，形成制度化保障。