1. 课程导论：特征缺失在金融风控中的危害、巡检方法的价值、课程整体框架
1.1 特征缺失：金融风控模型的“隐形杀手”
在信贷审批、反欺诈、交易监控等金融风控场景中，模型依赖数百个特征变量进行决策。特征缺失（Feature Missing）是指数据集中某个或某些样本的特征值未被记录或不可用。看似微小的缺失，在金融领域会引发连锁反应：
- 模型失效： 主流机器学习模型（如XGBoost、逻辑回归）无法直接处理缺失值，导致模型拒绝服务或输出错误概率。
- 偏差引入： 若缺失非随机（MNAR），简单填充会扭曲特征分布，导致评分卡分数偏移，优质客户被误拒。
- 监管风险： 巴塞尔协议及国内监管要求模型可解释、数据可追溯。缺失率过高且无处理记录，将面临合规处罚。
- 资金损失： 缺失导致的误判直接转化为坏账增加或优质客户流失。
行业痛点： 某头部消金公司曾因一个关键收入特征缺失率从5%突增至30%，导致模型AUC下降0.12，坏账率上升1.8个百分点，损失超千万。
1.2 特征缺失的三大类型与风控影响
| 缺失类型 | 定义 | 风控场景典型表现 | 危害等级 |
|---|---|---|---|
| 完全随机缺失（MCAR） | 缺失与数据本身无关 | 系统故障、网络波动导致部分字段丢失 | 中 |
| 随机缺失（MAR） | 缺失与其他观测变量相关 | 高收入群体更倾向不填写“其他收入”字段 | 高 |
| 非随机缺失（MNAR） | 缺失与缺失值本身相关 | 逾期客户故意不提供联系方式；高风险用户跳过身份验证步骤 | 极高 |
注意： 金融场景中MNAR最为致命，缺失本身可能就是风险信号。传统填充方法在此类场景中会严重扭曲模型。
1.3 快速巡检方法的核心价值
传统特征缺失处理依赖离线ETL和人工探查，周期长、响应慢。快速巡检方法旨在解决以下关键问题：
- 实时性： 在数据流入模型前，分钟级完成缺失检测与告警。
- 自动化： 自动识别缺失模式、类型及根因，减少人工分析成本。
- 可解释： 输出缺失报告，明确每个特征的缺失率、影响范围及建议处理策略。
- 可追溯： 记录缺失处理链路，满足模型审计与监管要求。
巡检价值量化： 实施快速巡检后，某银行风控模型上线周期从2周缩短至2天，缺失相关模型回退事件减少85%。
1.4 课程整体框架与学习路径
本课程共分为六大模块，从基础概念到实战落地，层层递进：
| 模块 | 章节范围 | 核心内容 | 学习目标 |
|---|---|---|---|
| 一、基础篇 | 第1~4章 | 缺失机制、巡检方法论、数据质量评估 | 掌握缺失分类与巡检指标体系 |
| 二、检测篇 | 第5~10章 | 缺失检测算法、模式识别、异常告警 | 实现自动化缺失检测与告警 |
| 三、归因篇 | 第11~16章 | 根因分析、链路追踪、数据血缘 | 快速定位缺失源头 |
| 四、处理篇 | 第17~22章 | 动态填充、模型内处理、策略决策 | 制定缺失处理策略并落地 |
| 五、监控篇 | 第23~27章 | 实时监控看板、漂移检测、闭环反馈 | 构建缺失巡检监控体系 |
| 六、实战篇 | 第28~30章 | 全流程案例、代码实现、项目交付 | 独立完成缺失巡检项目 |
1.5 课程特色与交付物
- 可复用的巡检工具包： 提供Python实现的缺失巡检SDK，包含检测、归因、告警模块。
- 真实风控数据集： 基于脱敏的信贷申请数据、交易流水数据，覆盖MCAR/MAR/MNAR场景。
- 监控看板模板： 基于Grafana的缺失巡检看板，可直接部署使用。
- 监管合规文档： 缺失处理策略文档模板，满足模型审计要求。
课程承诺： 学完本课程，你将能够独立搭建一套覆盖“检测-归因-处理-监控”全链路的特征缺失快速巡检系统，将缺失对风控模型的影响降至最低。