3、单变量特征分析:数值型特征分布分析(直方图、箱线图)、类别型特征频次分析、目标变量与特征的关联初探
单变量特征分析是风控建模中特征筛选的第一道关卡。其核心目标是通过对每个特征独立进行统计描述与可视化探查,快速识别数据质量异常、分布形态偏离以及特征与目标变量之间的初步关联信号。本节将分别针对数值型特征与类别型特征,系统讲解分布分析、频次分析及关联初探的方法论与实操要点。
3.1 数值型特征分布分析
数值型特征(如年龄、收入、负债率、授信额度)的分布分析主要依赖直方图与箱线图两种工具。直方图揭示数据的整体形态(对称、偏态、多峰),箱线图则聚焦于离散程度与异常值识别。
3.1.1 直方图:分布形态与分箱策略
直方图通过将连续数值划分为若干区间(bins),统计每个区间内的样本频次或频率,从而直观展示数据的概率密度轮廓。在风控场景中,直方图常用于检测以下问题:
- 偏态分布:如收入特征通常呈右偏(长尾在高收入端),需考虑对数变换或分箱处理。
- 双峰/多峰分布:可能暗示存在子群体(如不同客群),需进一步分层分析。
- 边界堆积:在0或最大值处出现异常高频,可能为截断数据或录入错误。
- 缺失值占位:如用-999或0填充缺失,会在直方图中形成孤立尖峰。
分箱数量经验规则:对于风控建模,建议初始分箱数为 √n(n为样本量)的2~3倍,或使用Sturges规则(k = 1 + log₂n)。后续可根据业务含义调整,例如年龄按5岁一组、收入按百分位分组。
3.1.2 箱线图:离散度与异常值检测
箱线图基于五数概括(最小值、Q1、中位数、Q3、最大值)绘制,箱体代表IQR(Q3-Q1),须线延伸至1.5倍IQR范围内的最远数据点,之外的标记为异常值。在风控特征筛选中,箱线图的价值体现在:
- 异常值识别:极端值可能代表欺诈行为或数据错误,需结合业务判断是否剔除或单独编码。
- 特征稳定性:对比训练集与测试集的箱线图,若IQR或中位数偏移过大,特征可能存在时间漂移。
- 分组对比:按目标变量(好/坏客户)绘制分组箱线图,可初步判断特征区分度。
实操要点:箱线图对样本量敏感,当样本量小于100时,异常值标记可能不可靠。建议结合百分位数(如1%和99%)进行截断处理,而非直接删除箱线图标记的异常点。
3.2 类别型特征频次分析
类别型特征(如职业、学历、婚姻状况、产品类型)的分布分析以频次统计为核心,重点关注类别数量、稀疏性及业务合理性。常用工具包括频数分布表与柱状图。
3.2.1 频次分布表与柱状图
频次分布表列出每个类别的样本计数与占比,柱状图则将其可视化。在风控场景中,需特别关注以下现象:
- 长尾类别:大量低频类别(如职业中的“其他”或罕见职业)可能导致模型过拟合,需考虑合并或归入“稀有类别”。
- 类别不平衡:若某个类别占比超过95%,该特征对模型的贡献可能极低,需评估是否保留。
- 业务异常值:如“年龄”字段中出现“学生”类别但年龄为60岁,需标记为数据错误。
- 缺失值编码:若“未知”或“缺失”类别占比过高,需判断是否为系统性缺失。
| 类别 | 频次 | 占比 (%) | 坏样本率 (%) | 建议操作 |
|---|---|---|---|---|
| 本科 | 45,000 | 45.0 | 3.2 | 保留 |
| 硕士 | 25,000 | 25.0 | 2.1 | 保留 |
| 高中 | 20,000 | 20.0 | 8.5 | 保留 |
| 博士 | 3,000 | 3.0 | 1.8 | 保留或合并 |
| 其他 | 5,000 | 5.0 | 6.0 | 合并为“稀有” |
| 缺失 | 2,000 | 2.0 | 12.0 | 单独编码 |
注意:类别型特征在建模前通常需要进行编码(如独热编码、标签编码或目标编码)。频次分析的结果直接影响编码策略的选择:低频类别应合并以避免维度灾难,高基数类别(如城市代码)需考虑特征哈希或聚类降维。
3.3 目标变量与特征的关联初探
单变量分析的最终目的是评估每个特征对目标变量(如逾期/非逾期)的区分能力。关联初探不追求精确的统计显著性,而是快速筛选出有潜力的特征,为后续的多变量建模提供候选集。
3.3.1 数值型特征:分组统计与趋势检验
对于数值型特征,常用的关联初探方法包括:
- 分组均值/中位数对比:按目标变量分组,计算特征的均值、中位数、标准差。若两组差异显著(如好客户平均收入8万,坏客户平均收入5万),则特征具有区分潜力。
- 分箱坏样本率曲线:将特征等频或等距分箱,计算每箱的坏样本率,绘制折线图。若坏样本率随特征值单调递增或递减,说明特征与目标存在线性或单调关系。
- KS统计量:计算好、坏两组累积分布的最大垂直距离,KS值越大,区分能力越强。通常KS > 0.1的特征值得保留。
3.3.2 类别型特征:坏样本率对比与卡方检验
对于类别型特征,关联初探主要依赖:
- 类别坏样本率:计算每个类别的坏样本率,观察是否存在高风险类别(如职业“自由职业”坏样本率15% vs 整体5%)。
- 卡方独立性检验:检验特征与目标变量是否独立。p值小于0.05通常认为存在显著关联,但需注意大样本下p值易显著,应结合效应量(如Cramer's V)判断。
- 信息价值(IV):IV是风控领域最常用的单变量筛选指标,计算公式为:IV = Σ( (好占比 - 坏占比) * ln(好占比/坏占比) )。IV < 0.02为无预测力,0.02~0.1为弱,0.1~0.3为中,>0.3为强(需警惕过拟合)。
关联初探的局限性:单变量关联分析无法捕捉特征间的交互效应与非线性关系。一个单变量IV很低的特征,在多变量模型中可能通过与其他特征组合发挥重要作用。因此,关联初探应作为“粗筛”而非“终审”。
3.4 单变量分析结果汇总与决策
完成上述分析后,需将每个特征的评估结果汇总至特征筛选清单,并做出初步决策。下表展示了典型的汇总模板:
| 特征名称 | 数据类型 | 缺失率 (%) | 异常值标记 | 分布形态 | IV值 | 初步决策 |
|---|---|---|---|---|---|---|
| 年龄 | 数值 | 0.5 | 无 | 近似正态 | 0.15 | 保留 |
| 收入 | 数值 | 8.0 | 右偏,有极端高值 | 右偏 | 0.22 | 对数变换后保留 |
| 职业 | 类别 | 2.0 | 无 | 长尾,10个低频类别 | 0.08 | 合并低频后保留 |
| 婚姻状况 | 类别 | 0.0 | 无 | 3个类别,分布均衡 | 0.04 | 保留(业务意义强) |
| 居住城市代码 | 类别 | 0.0 | 无 | 高基数(200+类别) | 0.01 | 剔除或特征哈希 |
决策原则:初步决策应遵循“宽进严出”原则,即单变量阶段以保留为主,仅剔除明显无信息或质量极差的特征(如缺失率 > 90%、IV < 0.005、单一类别占比 > 99%)。后续的多变量建模与特征选择阶段会进一步精炼特征集。