业务环境与政策变化核对
机会评分模型投产后面临的动态挑战主要来自三种变化源：业务调整（产品参数、营销策略、审批规则）、客群漂移（申请人群结构、信用行为模式迁移）、政策法规变更（监管指标、数据采集合规要求）。本章提供系统化的核对SOP，帮助团队快速识别并量化这些变化对模型性能的影响。
适用场景
- 模型发生明显PSI（群体稳定性指数）或KS衰减超过监控阈值。
- 业务部门发起产品调整、额度重构、利率变更等重大变更事前/事后评估。
- 监管新规（如个人信息保护法、征信管理办法）生效前后需做合规影响分析。
- 季度/年度模型全面体检或模型迭代立项准备。
前置条件
- 已建立模型性能监控看板，具备至少近6个月的评分分布、坏账率、通过率趋势数据。
- 可获取同期业务规则变更记录、产品迭代日志、合规部门政策备忘录。
- 具备模型特征级数据字典与缺失率/异常值统计。
- 已通过《模型文档与元数据抢救》章节完成模型文档归档。
操作步骤
- 步骤1：变化源收集与分类
从业务、合规、运营三个渠道收集近6个月内所有相关变更记录。按照下表归类：
变化类型 典型事件 收集责任人 业务调整 产品费率调整、额度上下限变更、邀约策略修改 产品经理 客群漂移 新渠道引流导致年龄/收入分布变化、多头借贷率上升 模型监控岗 政策法规变更 贷后催收时效限制、数据采集授权范围收紧 法务/合规 - 步骤2：评分分布与关键指标分层对比
按时间窗口（变更前3个月 vs 变更后3个月）计算各分数段的PSI，同时重点跟踪通过率、坏账率、拒绝率在关键分段（如分数<300、300-500、500-700、>700）的偏移量。
PSI参考阈值：<0.1 无明显变化；0.1-0.25 需关注；>0.25 强烈漂移，须深入分析驱动变量。
- 步骤3：特征级影响诊断
针对PSI>0.15的分数段，拆解其TOP5贡献特征。计算每个特征在变更前后的均值/缺失率偏移，并观察特征与目标变量（逾期/违约）的单调性是否被破坏。使用特征贡献度分解（如Shapley值）识别哪些变量最敏感。
- 步骤4：政策合规影响矩阵评估
将新政策条款与模型输入特征、评分逻辑进行逐条映射。例如：
“个人敏感信息需单独授权” → 模型使用了通讯录活跃天、GPS轨迹特征 → 需去除或替换为合规代理变量。 - 步骤5：影响量化与决策建议
汇总表输出：影响程度（高/中/低）、是否需重新训练、建议调整周期、风险等级。形成业务环境变化影响矩阵（见下方SVG）。
输入输出物
| 类型 | 名称 | 说明 |
|---|---|---|
| 输入 | 模型监控月报（含PSI、KS、通过率趋势） | CSV/Excel，包含近6个月数据 |
| 输入 | 业务变更日志 | 含变更时间、内容、审批人 |
| 输入 | 法规更新清单 | 合规部签署的法规影响评估表 |
| 输出 | 业务环境变化影响矩阵 | SVG结构化报告（见下文） |
| 输出 | 特征漂移明细表 | Excel含PSI贡献、均值偏移、单调性检验 |
| 输出 | 政策合规风险清单 | Word文档附整改建议 |
责任边界
- 模型团队：完成步骤2-3，产出PSI/KS/特征漂移分析，提出评分调整建议。
- 业务方（产品/风策）：提供步骤1的业务变更内容，配合确认调整后的业务逻辑。
- 合规/法务：提供政策法规变化原文，并参与步骤4的合规映射评估。
- 决策层：审批最终影响矩阵中的模型调整计划（重训、局部调参、暂缓投产）。
记录材料
- 《业务环境与政策变化核对工作底稿》——在线文档，包含PSI计算表、特征诊断截图、合规映射记录。
- 会议纪要——至少包含一次跨部门对齐会，记录争议点与决策。
- 变更影响矩阵最终版——由三方负责人签字确认。
异常处理
常见异常与应对：
- 异常1：变更时间点模糊不清 —— 以业务正式上线日期为准，若无日志则向业务询问并记录为“推测变更点”，在矩阵中标注置信度。
- 异常2：PSI急速上升但特征漂移不明显 —— 可能是评分结果单调性破裂或外部经济冲击（如失业率激增），需额外加入宏观指标对照。
- 异常3：法规变动与模型冲突且无合规替代变量 —— 启动模型紧急下线流程，同时申请临时豁免或仅保留可解释性弱特征；输出风险报告至合规委员会。
- 异常4：跨部门数据提供延迟 —— 先行基于现有监控数据做独立分析，后续补录；记录延迟原因供流程改进。
验收标准
- 满足以下所有条件方可审核通过：
- ✅ 影响矩阵完整，包含业务调整、客群漂移、政策法规三个维度，每个维度至少有一个量化指标（PSI/KS偏移量/合规风险数）。
- ✅ 特征漂移明细表列出PSI贡献前5特征及其变化方向，标明是否破坏单调性。
- ✅ 合规风险清单逐条给出可执行的替代方案或降级策略。
- ✅ 所有输出物由对应责任方签字或电子签章确认。
- ✅ 超过2周未完成核对需上报项目组升级决策。