2. 金融数据特征概述:常见金融特征类型与缺失机制

在金融风控、量化交易与客户画像场景中,特征数据是模型推理的基石。本章从特征类型与缺失机制两个维度,建立巡检工具所需的数据认知框架。

2.1 常见金融特征类型

金融特征按数据结构与业务含义可分为三大类,每类在缺失巡检中需采用不同的统计口径与填充策略。

特征类型 典型字段 缺失检测要点 常用填充方法
数值型 收入、年龄、贷款金额、信用评分 异常值(0、负数、极端离群)常被误判为缺失 均值/中位数/回归插补
类别型 职业、学历、婚姻状况、地区编码 空字符串、'Unknown'、'NULL' 字符串需归一化检测 众数填充、新增“缺失”类别
时序型 交易日期、还款日、利率调整日 时间戳格式不一致、未来日期、日期跳跃 前向填充、插值、时间窗口均值
巡检提示: 数值型特征中的“0”在金融场景中可能是有效值(如零收入、零贷款),不能直接视为缺失。巡检工具需配置业务白名单,区分“业务零”与“缺失零”。

2.2 特征缺失的定义与分类

缺失并非简单的“空值”。在金融数据治理中,缺失的定义需结合数据采集链路与业务逻辑。根据缺失机制与可观测变量的关系,统计学习领域将缺失分为三类:

  • 完全随机缺失(MCAR, Missing Completely At Random): 缺失概率与任何观测或未观测变量无关。例如:系统随机丢包导致某笔交易记录丢失。
  • 随机缺失(MAR, Missing At Random): 缺失概率仅依赖于已观测到的其他变量。例如:高收入人群更倾向于不填写收入字段,但收入缺失与否可由职业、学历等已观测变量预测。
  • 非随机缺失(MNAR, Missing Not At Random): 缺失概率与缺失值本身相关。例如:信用评分极低的用户故意不提供评分信息,导致缺失值本身携带负面信号。
治理警示: 金融场景中 MNAR 最为危险。若直接删除或简单填充 MNAR 特征,会引入严重的样本选择偏差,导致风控模型低估违约概率。巡检工具必须对 MNAR 特征做单独标记与敏感性分析。
金融特征缺失机制分类图 金融特征缺失机制分类 MCAR 完全随机缺失 例:系统随机丢包 MAR 随机缺失 例:高收入者不填收入 MNAR 非随机缺失 例:低评分者隐瞒评分 可处理性对比: MCAR 可直接删除或简单填充;MAR 需借助其他变量建模预测;MNAR 必须引入领域知识或敏感性分析。 金融业务影响: MCAR 影响最小;MAR 可通过多变量插补缓解;MNAR 若处理不当,直接导致模型偏差与监管风险。

2.3 三类缺失的巡检识别策略

巡检工具需根据缺失类型选择不同的检测与标记策略。下表总结了各类型的识别线索与工具配置建议:

缺失类型 识别线索 巡检工具配置 风险等级
MCAR 缺失率在各分组中均匀分布;缺失与任何字段无显著相关性 启用全局缺失率监控;设置阈值告警 低
MAR 缺失率与某些已观测字段(如年龄、地区)存在统计关联 启用条件缺失率分析;配置逻辑回归检测器 中
MNAR 缺失值本身与目标变量(如违约标签)强相关;无法被其他字段解释 启用敏感性分析;标记为“高缺失风险”特征 高
巡检工具实操: 在特征缺失巡检面板中,系统会自动计算每个特征的“缺失可解释性得分”(0~1)。得分接近 0 表示 MCAR,接近 1 表示可被其他字段解释(MAR),若得分低但缺失与目标变量强相关,则标记为 MNAR 候选。
缺失类型巡检识别流程 缺失类型巡检识别流程 特征缺失检测 缺失率在各分组均匀? MCAR 可被其他字段解释? MAR MNAR 均匀:MCAR;不均匀:继续判断

2.4 特征缺失对金融模型的影响

不同缺失类型对模型的影响路径不同,巡检工具需在报告中量化这些影响:

  • MCAR: 仅降低有效样本量,参数估计仍无偏,但标准误增大。
  • MAR: 若忽略缺失机制,模型系数可能产生偏倚;使用多重插补(MI)或极大似然估计(ML)可校正。
  • MNAR: 直接建模会导致严重偏差,需引入选择模型或模式混合模型;在金融监管中,MNAR 特征需单独披露。
巡检工具内置指标: 系统提供“缺失影响系数”(MIC),计算方式为:MIC = |β_full - β_missing| / SE_full,其中 β_full 为完整数据下的系数,β_missing 为含缺失数据下的系数。MIC > 2 的特征需优先治理。