📚 课程目录第3章特征工程基础

3、特征工程基础：原始特征类型与质量评估

特征工程是 XGBoost 建模流程中决定模型上限的关键环节。原始数据通常包含多种类型的特征，且质量参差不齐。本章系统梳理原始特征的三大类型及其处理要点，并建立特征质量评估的量化标准，为后续变量衍生与分箱操作奠定基础。

根据数据来源与业务含义，原始特征可划分为数值型、类别型和时序型三大类。不同类型特征在 XGBoost 中的处理方式与衍生方向存在显著差异。

特征类型	典型示例	XGBoost 原生支持	常见问题	预处理要点
数值型	年龄、收入、交易金额	直接支持，树节点按阈值分裂	量纲差异大、存在极端值、分布偏态	缺失值填充、对数/Box-Cox变换、分箱
类别型	性别、地区、职业编码	需编码为数值（Label/One-hot）	基数高、稀疏编码、新类别泛化	频次编码、目标编码、Embedding
时序型	注册日期、交易时间戳	需提取时间特征	周期性、趋势性、事件间隔	衍生年/月/日/星期、滑动窗口统计

实践建议：XGBoost 对数值型特征的尺度不敏感（树模型不依赖距离度量），但极端值仍会影响分裂点选择。类别型特征建议优先使用目标编码（Target Encoding）或频次编码，避免高基数 One-hot 导致特征维度爆炸。

在进入变量衍生之前，必须对原始特征进行质量筛查。核心评估维度包括缺失率、稳定性和预测能力（IV值）。以下 SVG 展示了特征质量评估的完整流程与决策路径。

缺失率是特征可用性的第一道门槛。高缺失率特征不仅无法提供有效信息，还可能引入偏差。

  XGBoost 缺失值处理机制：XGBoost 原生支持缺失值自动学习分裂方向（默认将缺失值分配到增益最大的分支），因此无需在建模前强制填充所有缺失值。但建议对缺失率超过 50% 的特征进行标记，避免模型过度依赖稀疏分裂。

群体稳定性指标（Population Stability Index, PSI）衡量特征分布在时间维度上的变化程度。在信贷风控、用户增长等场景中，特征稳定性直接影响模型在验证集和上线后的表现。

PSI 计算公式如下：

PSI = Σ (P_i - Q_i) * ln(P_i / Q_i)

其中：
  P_i = 当前样本在第 i 个分箱中的占比
  Q_i = 基准样本在第 i 个分箱中的占比
  分箱数通常取 10（等频分箱）

信息量（Information Value, IV）是衡量特征对二分类目标变量区分能力的经典指标。IV 值越高，说明该特征对正负样本的区分度越好。

IV 值使用注意事项：IV 值计算依赖分箱方式，不同分箱策略可能导致 IV 值波动。建议在计算 IV 前先进行等频分箱（通常 5~10 箱），并确保每个分箱中正负样本均不为 0。IV 值过高（如 > 0.5）的特征需警惕过拟合，建议结合交叉验证评估。

实际项目中，三个评估维度需联合决策。以下矩阵给出常见组合的处理策略：

缺失率	稳定性（PSI）	预测力（IV）	综合决策
低	稳定	强	保留，优先用于衍生
低	不稳定	强	标记监控，尝试分箱平滑
高	稳定	强	填充后保留，构造缺失指示变量
高	不稳定	弱	删除
低	稳定	弱	保留但暂不衍生，作为备选

完成上述三个维度的评估后，即可进入变量衍生与分箱环节。高质量的特征子集是后续 XGBoost 模型取得优异性能的前提保障。