4. 模型看板概念
在反欺诈图谱模型的持续运维中，模型看板（Model Dashboard）是连接模型开发与业务监控的核心可视化界面。它并非简单的指标罗列，而是将模型在离线评估与在线推理中的关键行为，以结构化、时序化的方式呈现给风控分析师与模型管理员，从而支撑漂移检测、性能预警与归因分析。
4.1 什么是模型看板
模型看板是一套面向模型生命周期的监控仪表盘，通常包含以下三个层次：
- 输入层：实时采集图谱模型的特征分布、节点/边统计、推理请求量等原始数据。
- 计算层：按固定时间窗口（如小时、天、周）计算准确率、召回率、AUC、KS 等核心指标，并对比基线期与当前期的差异。
- 展示层：通过趋势折线图、分布直方图、散点矩阵、告警列表等组件，辅助用户快速定位异常。
实践要点：反欺诈图谱模型的看板应额外关注子图结构漂移（如欺诈团伙的连通性变化），这是传统表格模型看板不具备的能力。
4.2 看板的关键指标
模型看板的核心价值在于通过量化指标反映模型在真实业务环境中的表现。以下四个指标是反欺诈图谱模型监控的基石：
| 指标 | 定义 | 反欺诈场景含义 | 漂移敏感度 |
|---|---|---|---|
| 准确率（Accuracy） | (TP+TN) / (TP+TN+FP+FN) | 所有预测中正确识别欺诈/正常的比例 | 中等（受样本不平衡影响大） |
| 召回率（Recall） | TP / (TP+FN) | 实际欺诈中被模型捕获的比例，漏报越少越好 | 高（欺诈模式变化时最先下降） |
| AUC（ROC 曲线下面积） | ROC 曲线与坐标轴围成的面积 | 模型对欺诈与正常样本的排序能力，不受阈值影响 | 高（分布偏移时 AUC 通常先于准确率下降） |
| KS（Kolmogorov-Smirnov） | max(TPR - FPR) | 模型区分欺诈与正常样本的最大分离能力 | 极高（KS 骤降常预示模型失效） |
指标选择建议：在反欺诈图谱模型看板中，建议将 召回率 与 KS 作为首要监控指标。召回率直接关联业务损失（漏过欺诈），而 KS 对图谱结构漂移（如新增未知团伙）最为敏感。
4.3 指标间的协同关系
单一指标无法全面反映模型状态，看板应展示指标间的联动变化。例如：
- 召回率下降 + AUC 下降：通常意味着欺诈模式发生结构性变化，模型需要重新训练。
- 准确率上升 + KS 下降：可能是样本分布偏移导致阈值失效，模型区分度实际在恶化。
- AUC 稳定 + 召回率波动：排序能力未变，但业务阈值或欺诈密度发生变化，需调整决策边界。
4.4 看板配置的注意事项
常见陷阱：不要仅依赖全局指标。反欺诈图谱模型在不同子图区域（如不同商户群、不同设备指纹簇）的表现可能差异巨大。建议在看板中增加分层监控，按业务线、风险等级或图社区进行指标下钻。
一个健壮的模型看板还应包含以下辅助元素：
- 基线期对比：固定一个训练完成后的稳定窗口作为基线，所有当前指标均与基线计算偏移量。
- 告警阈值：为每个指标设置三级告警（黄色预警、橙色警告、红色紧急），触发时自动通知模型运维团队。
- 时间粒度：反欺诈场景建议同时保留小时级（捕捉突发攻击）与天级（捕捉趋势性漂移）两个视图。
- 特征分布监控：除模型输出指标外，还应监控输入特征的 PSI（群体稳定性指标），提前发现数据源异常。
通过以上指标与配置，模型看板能够成为反欺诈图谱模型漂移检测的第一道防线，帮助团队在模型性能显著下降之前及时介入。