2. 金融数据特征概述:常见金融特征类型与缺失机制
在金融风控、量化交易与客户画像场景中,特征数据是模型推理的基石。本章从特征类型与缺失机制两个维度,建立巡检工具所需的数据认知框架。
2.1 常见金融特征类型
金融特征按数据结构与业务含义可分为三大类,每类在缺失巡检中需采用不同的统计口径与填充策略。
| 特征类型 | 典型字段 | 缺失检测要点 | 常用填充方法 |
|---|---|---|---|
| 数值型 | 收入、年龄、贷款金额、信用评分 | 异常值(0、负数、极端离群)常被误判为缺失 | 均值/中位数/回归插补 |
| 类别型 | 职业、学历、婚姻状况、地区编码 | 空字符串、'Unknown'、'NULL' 字符串需归一化检测 | 众数填充、新增“缺失”类别 |
| 时序型 | 交易日期、还款日、利率调整日 | 时间戳格式不一致、未来日期、日期跳跃 | 前向填充、插值、时间窗口均值 |
巡检提示: 数值型特征中的“0”在金融场景中可能是有效值(如零收入、零贷款),不能直接视为缺失。巡检工具需配置业务白名单,区分“业务零”与“缺失零”。
2.2 特征缺失的定义与分类
缺失并非简单的“空值”。在金融数据治理中,缺失的定义需结合数据采集链路与业务逻辑。根据缺失机制与可观测变量的关系,统计学习领域将缺失分为三类:
- 完全随机缺失(MCAR, Missing Completely At Random): 缺失概率与任何观测或未观测变量无关。例如:系统随机丢包导致某笔交易记录丢失。
- 随机缺失(MAR, Missing At Random): 缺失概率仅依赖于已观测到的其他变量。例如:高收入人群更倾向于不填写收入字段,但收入缺失与否可由职业、学历等已观测变量预测。
- 非随机缺失(MNAR, Missing Not At Random): 缺失概率与缺失值本身相关。例如:信用评分极低的用户故意不提供评分信息,导致缺失值本身携带负面信号。
治理警示: 金融场景中 MNAR 最为危险。若直接删除或简单填充 MNAR 特征,会引入严重的样本选择偏差,导致风控模型低估违约概率。巡检工具必须对 MNAR 特征做单独标记与敏感性分析。
2.3 三类缺失的巡检识别策略
巡检工具需根据缺失类型选择不同的检测与标记策略。下表总结了各类型的识别线索与工具配置建议:
| 缺失类型 | 识别线索 | 巡检工具配置 | 风险等级 |
|---|---|---|---|
| MCAR | 缺失率在各分组中均匀分布;缺失与任何字段无显著相关性 | 启用全局缺失率监控;设置阈值告警 | 低 |
| MAR | 缺失率与某些已观测字段(如年龄、地区)存在统计关联 | 启用条件缺失率分析;配置逻辑回归检测器 | 中 |
| MNAR | 缺失值本身与目标变量(如违约标签)强相关;无法被其他字段解释 | 启用敏感性分析;标记为“高缺失风险”特征 | 高 |
巡检工具实操: 在特征缺失巡检面板中,系统会自动计算每个特征的“缺失可解释性得分”(0~1)。得分接近 0 表示 MCAR,接近 1 表示可被其他字段解释(MAR),若得分低但缺失与目标变量强相关,则标记为 MNAR 候选。
2.4 特征缺失对金融模型的影响
不同缺失类型对模型的影响路径不同,巡检工具需在报告中量化这些影响:
- MCAR: 仅降低有效样本量,参数估计仍无偏,但标准误增大。
- MAR: 若忽略缺失机制,模型系数可能产生偏倚;使用多重插补(MI)或极大似然估计(ML)可校正。
- MNAR: 直接建模会导致严重偏差,需引入选择模型或模式混合模型;在金融监管中,MNAR 特征需单独披露。
巡检工具内置指标: 系统提供“缺失影响系数”(MIC),计算方式为:
MIC = |β_full - β_missing| / SE_full,其中 β_full 为完整数据下的系数,β_missing 为含缺失数据下的系数。MIC > 2 的特征需优先治理。