3. 数据清洗与特征工程面试题

数据清洗与特征工程面试题 学习卡片

在信贷风控建模面试中,数据清洗与特征工程往往比模型选择更能体现候选人的实战功底。面试官真正想确认的不是你“知道多少种方法”,而是你能否在业务约束、样本规模、可解释性与上线稳定性之间做出合理取舍。本章围绕五类高频问题,给出可复用的回答框架与追问应对路径。

特征工程回答框架:从业务到上线 业务理解 数据诊断 清洗与变换 筛选与验证 上线监控 追问路径:为什么这样处理 → 依据是什么 → 如何验证 → 上线后如何监控 加分点:量化收益、可解释性、稳定性、合规与可回溯 避免:只讲方法不讲场景,只讲结果不讲验证

一、核心原理:特征工程是业务假设的代码化

缺失值、异常值、分箱、筛选与共线性,本质上都在回答同一个问题:如何把原始数据转化为稳定、可解释、可上线的风险信号。面试中不要孤立地背方法,而要把它放进“业务假设—数据验证—模型验证—上线监控”的闭环里。

  • 缺失值:先判断缺失机制(完全随机、随机、非随机),再决定删除、填充或保留缺失标志。信贷场景中,缺失本身常是风险信号。
  • 异常值:区分“错误值”与“真实极端值”。错误值修正或剔除,真实极端值可截断、分箱或单独建模。
  • 分箱:把连续变量离散化,提升稳定性与可解释性,同时处理非线性关系。常用等频、等距、卡方、决策树分箱。
  • 特征筛选:从业务、统计、模型三个维度筛选,兼顾IV、PSI、相关性、VIF与业务可解释性。
  • 共线性:共线性不影响树模型预测,但影响逻辑回归系数解释与稳定性,需通过VIF、相关性矩阵识别并处理。
面试表达要点:先给结论,再给依据,最后给验证。例如“我优先保留缺失标志,因为缺失率与逾期率呈单调关系,IV提升约0.02,且上线后PSI稳定”。

二、方法流程:五步走的标准回答

  1. 数据诊断:统计缺失率、异常比例、分布、IV与PSI,形成数据质量报告。
  2. 缺失处理:缺失率低于5%可填充;5%~30%考虑填充加缺失标志;高于30%谨慎保留或单独分析。
  3. 异常处理:用箱线图、3σ、分位数、业务规则识别,结合业务判断修正或截断。
  4. 分箱与编码:优先卡方或决策树分箱,保证单调性;WOE编码后检查IV与PSI。
  5. 筛选与共线性:先业务筛选,再统计筛选,最后模型筛选;VIF大于5或10时处理共线性。
环节常用方法关键指标面试追问
缺失值删除、均值/中位数/众数、模型填充、缺失标志缺失率、IV、PSI缺失是随机还是非随机?
异常值3σ、IQR、分位数、业务规则异常比例、截断前后分布极端值是错误还是真实风险?
分箱等频、等距、卡方、决策树单调性、IV、WOE为什么不用等距?
筛选IV、相关性、RFE、L1、业务规则IV、AUC、KS如何避免过拟合?
共线性相关性矩阵、VIF、PCAVIF、系数稳定性树模型需要处理吗?

三、案例/场景:一个消费贷评分卡项目

假设你在某消费金融公司做申请评分卡,样本100万,坏样本率4%。发现“月收入”缺失率18%,“年龄”存在999异常值,“近6个月查询次数”与“近3个月查询次数”高度相关。

处理策略:
1. 月收入:缺失标志 + 中位数填充,缺失标志IV=0.03,保留。
2. 年龄:999修正为缺失,按业务规则截断至[18,70]。
3. 查询次数:保留近3个月,删除近6个月,VIF从8.2降至2.1。
4. 分箱:对收入使用决策树分箱,保证坏样本率单调。
5. 验证:AUC从0.72提升至0.76,KS从0.28提升至0.34,PSI小于0.1。

这个案例的加分点在于:每一步都有量化依据,并且说明了上线后的稳定性验证。面试官追问“为什么保留缺失标志”时,你可以回答:缺失人群的坏样本率显著高于非缺失人群,缺失本身携带风险信息。

回答模板:背景—问题—方案—验证—上线监控。用STAR结构讲项目,用数据讲效果,用业务讲取舍。

四、误区与复盘:面试中常见的失分点

  • 只讲方法不讲场景:一上来就说用均值填充,却不判断缺失机制。
  • 忽视业务可解释性:为了提升AUC引入大量黑箱特征,导致评分卡无法解释。
  • 分箱后不检查单调性:WOE不单调会削弱模型稳定性与业务信任。
  • 共线性一刀切:树模型对共线性不敏感,但仍需关注特征重要性的稳定性。
  • 缺少上线监控:没有PSI、缺失率、异常率监控,模型衰减后无法及时预警。
复盘建议:每次面试后记录被追问的问题,尤其是“为什么这样做”和“如果数据变了怎么办”。把答案整理成可复用的决策树,而不是零散知识点。

总结来看,这一章的面试题看似分散,实则围绕一条主线:用业务假设驱动数据处理,用统计指标验证处理效果,用上线监控保证长期稳定。掌握这条主线,你就能在面试中从“会做题”升级为“能落地”。