1. 金融特征缺失巡检概述:定义、重要性、巡检在风控体系中的定位
1.1 什么是金融特征缺失巡检
金融特征缺失巡检是指对风控模型所使用的输入特征(如收入、负债、征信查询次数、设备指纹等)进行系统性、周期性的数据质量检查,以发现并定位特征值缺失、异常、延迟或逻辑错误的过程。它是数据质量治理在风控场景中的具体落地实践。
核心定义:特征缺失巡检 ≠ 简单空值统计。它涵盖空值率、默认值污染、时间戳断层、跨表关联丢失、特征逻辑一致性等五个维度。
1.2 特征缺失的典型类型与影响
| 缺失类型 | 定义 | 典型影响 |
|---|---|---|
| 完全缺失 | 特征字段全部为空或未采集 | 模型无法计算该特征,退化为降维模型 |
| 部分缺失 | 部分样本或时间窗口内特征为空 | 样本量减少,模型偏差增大 |
| 默认值污染 | 用 -1、0、9999 等占位符填充缺失 | 模型学习到虚假分布,决策偏移 |
| 时间戳断层 | 特征更新时间与业务时间不匹配 | 特征时效性失效,风控滞后 |
| 逻辑不一致 | 特征间违反业务约束(如年龄<0) | 模型输入异常,推理结果不可信 |
1.3 巡检在风控体系中的定位
特征缺失巡检位于风控数据链路的中游,衔接上游数据采集与下游模型决策。它不属于模型开发阶段,而是属于模型运维与数据治理的常态化工作。
1.4 为什么特征缺失巡检至关重要
- 模型稳定性:特征缺失率波动超过阈值时,模型输出分布会发生偏移,导致拒绝率异常上升或下降。
- 决策公平性:缺失特征若与用户群体(如新客、下沉用户)相关,会引入系统性偏差,造成歧视性拒绝。
- 监管合规:银保监会、央行等监管机构要求金融机构对模型输入数据质量进行持续监控,缺失巡检是合规审计的必备项。
- 成本控制:特征缺失导致模型降级使用或人工审批增加,直接推高运营成本。
经验数据:在消费信贷场景中,特征缺失率每上升 5%,模型 AUC 平均下降 0.02~0.03,坏账率预估上升 8%~12%。定期巡检可提前 1~2 个工作日发现数据源故障,避免大规模决策异常。
1.5 巡检的核心指标
| 指标名称 | 计算公式 | 告警阈值(参考) |
|---|---|---|
| 特征空值率 | 空值样本数 / 总样本数 × 100% | > 5% 告警,> 20% 紧急 |
| 默认值占比 | 等于占位符的样本数 / 总样本数 × 100% | > 3% 告警 |
| 时间戳延迟 | 当前时间 - 特征最近更新时间(小时) | > 24h 告警,> 72h 紧急 |
| 跨表关联丢失率 | 关联失败的样本数 / 总样本数 × 100% | > 2% 告警 |
| 逻辑一致性违例率 | 违反业务约束的样本数 / 总样本数 × 100% | > 1% 告警 |
1.6 巡检的典型触发场景
- 数据源变更:合作方接口升级、字段废弃或返回格式变化。
- 数据管道故障:ETL 任务失败、Kafka 消息积压、Hive 分区未更新。
- 模型版本迭代:新模型上线后特征依赖发生变化,旧巡检规则未同步更新。
- 业务规则调整:产品准入策略修改导致特征采集范围变化。
- 周期性数据衰减:部分外部数据源(如多头借贷)随时间推移覆盖率自然下降。
常见误区:不要将特征缺失巡检与模型监控(PSI、KS 监控)混为一谈。模型监控关注输出分布变化,而缺失巡检关注输入数据质量。两者互补,但巡检更前置、更偏向数据工程侧。