3、单变量特征分析:数值型特征分布分析(直方图、箱线图)、类别型特征频次分析、目标变量与特征的关联初探

单变量特征分析是风控建模中特征筛选的第一道关卡。其核心目标是通过对每个特征独立进行统计描述与可视化探查,快速识别数据质量异常、分布形态偏离以及特征与目标变量之间的初步关联信号。本节将分别针对数值型特征与类别型特征,系统讲解分布分析、频次分析及关联初探的方法论与实操要点。

3.1 数值型特征分布分析

数值型特征(如年龄、收入、负债率、授信额度)的分布分析主要依赖直方图与箱线图两种工具。直方图揭示数据的整体形态(对称、偏态、多峰),箱线图则聚焦于离散程度与异常值识别。

3.1.1 直方图:分布形态与分箱策略

直方图通过将连续数值划分为若干区间(bins),统计每个区间内的样本频次或频率,从而直观展示数据的概率密度轮廓。在风控场景中,直方图常用于检测以下问题:

  • 偏态分布:如收入特征通常呈右偏(长尾在高收入端),需考虑对数变换或分箱处理。
  • 双峰/多峰分布:可能暗示存在子群体(如不同客群),需进一步分层分析。
  • 边界堆积:在0或最大值处出现异常高频,可能为截断数据或录入错误。
  • 缺失值占位:如用-999或0填充缺失,会在直方图中形成孤立尖峰。
分箱数量经验规则:对于风控建模,建议初始分箱数为 √n(n为样本量)的2~3倍,或使用Sturges规则(k = 1 + log₂n)。后续可根据业务含义调整,例如年龄按5岁一组、收入按百分位分组。

3.1.2 箱线图:离散度与异常值检测

箱线图基于五数概括(最小值、Q1、中位数、Q3、最大值)绘制,箱体代表IQR(Q3-Q1),须线延伸至1.5倍IQR范围内的最远数据点,之外的标记为异常值。在风控特征筛选中,箱线图的价值体现在:

  • 异常值识别:极端值可能代表欺诈行为或数据错误,需结合业务判断是否剔除或单独编码。
  • 特征稳定性:对比训练集与测试集的箱线图,若IQR或中位数偏移过大,特征可能存在时间漂移。
  • 分组对比:按目标变量(好/坏客户)绘制分组箱线图,可初步判断特征区分度。
实操要点:箱线图对样本量敏感,当样本量小于100时,异常值标记可能不可靠。建议结合百分位数(如1%和99%)进行截断处理,而非直接删除箱线图标记的异常点。
数值型特征分布分析流程 数值型特征分布分析流程 原始数值特征 直方图:分布形态与分箱 箱线图:离散度与异常值 偏态/多峰/边界堆积/缺失占位 异常值标记/IQR偏移/分组对比 特征质量评估报告

3.2 类别型特征频次分析

类别型特征(如职业、学历、婚姻状况、产品类型)的分布分析以频次统计为核心,重点关注类别数量、稀疏性及业务合理性。常用工具包括频数分布表与柱状图。

3.2.1 频次分布表与柱状图

频次分布表列出每个类别的样本计数与占比,柱状图则将其可视化。在风控场景中,需特别关注以下现象:

  • 长尾类别:大量低频类别(如职业中的“其他”或罕见职业)可能导致模型过拟合,需考虑合并或归入“稀有类别”。
  • 类别不平衡:若某个类别占比超过95%,该特征对模型的贡献可能极低,需评估是否保留。
  • 业务异常值:如“年龄”字段中出现“学生”类别但年龄为60岁,需标记为数据错误。
  • 缺失值编码:若“未知”或“缺失”类别占比过高,需判断是否为系统性缺失。
类别 频次 占比 (%) 坏样本率 (%) 建议操作
本科 45,000 45.0 3.2 保留
硕士 25,000 25.0 2.1 保留
高中 20,000 20.0 8.5 保留
博士 3,000 3.0 1.8 保留或合并
其他 5,000 5.0 6.0 合并为“稀有”
缺失 2,000 2.0 12.0 单独编码
注意:类别型特征在建模前通常需要进行编码(如独热编码、标签编码或目标编码)。频次分析的结果直接影响编码策略的选择:低频类别应合并以避免维度灾难,高基数类别(如城市代码)需考虑特征哈希或聚类降维。

3.3 目标变量与特征的关联初探

单变量分析的最终目的是评估每个特征对目标变量(如逾期/非逾期)的区分能力。关联初探不追求精确的统计显著性,而是快速筛选出有潜力的特征,为后续的多变量建模提供候选集。

3.3.1 数值型特征:分组统计与趋势检验

对于数值型特征,常用的关联初探方法包括:

  • 分组均值/中位数对比:按目标变量分组,计算特征的均值、中位数、标准差。若两组差异显著(如好客户平均收入8万,坏客户平均收入5万),则特征具有区分潜力。
  • 分箱坏样本率曲线:将特征等频或等距分箱,计算每箱的坏样本率,绘制折线图。若坏样本率随特征值单调递增或递减,说明特征与目标存在线性或单调关系。
  • KS统计量:计算好、坏两组累积分布的最大垂直距离,KS值越大,区分能力越强。通常KS > 0.1的特征值得保留。

3.3.2 类别型特征:坏样本率对比与卡方检验

对于类别型特征,关联初探主要依赖:

  • 类别坏样本率:计算每个类别的坏样本率,观察是否存在高风险类别(如职业“自由职业”坏样本率15% vs 整体5%)。
  • 卡方独立性检验:检验特征与目标变量是否独立。p值小于0.05通常认为存在显著关联,但需注意大样本下p值易显著,应结合效应量(如Cramer's V)判断。
  • 信息价值(IV):IV是风控领域最常用的单变量筛选指标,计算公式为:IV = Σ( (好占比 - 坏占比) * ln(好占比/坏占比) )。IV < 0.02为无预测力,0.02~0.1为弱,0.1~0.3为中,>0.3为强(需警惕过拟合)。
关联初探的局限性:单变量关联分析无法捕捉特征间的交互效应与非线性关系。一个单变量IV很低的特征,在多变量模型中可能通过与其他特征组合发挥重要作用。因此,关联初探应作为“粗筛”而非“终审”。
目标变量与特征关联初探方法对比 目标变量与特征关联初探方法对比 数值型特征关联方法 分组均值/中位数对比 分箱坏样本率曲线(单调性检验) KS统计量(累积分布最大距离) 类别型特征关联方法 类别坏样本率对比 卡方独立性检验(p值 + Cramer's V) 信息价值 IV(好/坏分布差异) 所有方法均为单变量粗筛,最终特征需经多变量建模验证

3.4 单变量分析结果汇总与决策

完成上述分析后,需将每个特征的评估结果汇总至特征筛选清单,并做出初步决策。下表展示了典型的汇总模板:

特征名称 数据类型 缺失率 (%) 异常值标记 分布形态 IV值 初步决策
年龄 数值 0.5 无 近似正态 0.15 保留
收入 数值 8.0 右偏,有极端高值 右偏 0.22 对数变换后保留
职业 类别 2.0 无 长尾,10个低频类别 0.08 合并低频后保留
婚姻状况 类别 0.0 无 3个类别,分布均衡 0.04 保留(业务意义强)
居住城市代码 类别 0.0 无 高基数(200+类别) 0.01 剔除或特征哈希
决策原则:初步决策应遵循“宽进严出”原则,即单变量阶段以保留为主,仅剔除明显无信息或质量极差的特征(如缺失率 > 90%、IV < 0.005、单一类别占比 > 99%)。后续的多变量建模与特征选择阶段会进一步精炼特征集。