4. 特征工程基础：特征分箱、WOE编码、IV值计算、特征重要性排序

在额度模型批次偏移根因分析中，特征工程是连接原始数据与模型可解释性的桥梁。本章聚焦于四个核心环节：特征分箱（将连续变量离散化）、WOE编码（证据权重转换）、IV值计算（信息量评估）以及特征重要性排序（筛选关键驱动因子）。这些技术不仅提升模型稳定性，还能在批次偏移发生时快速定位导致分布变化的特征。

4.1 特征分箱：离散化与稳定性基础

特征分箱是将连续变量或高基数离散变量划分为有限个区间（箱）的过程。在风控模型中，分箱的主要目的包括：处理非线性关系、降低异常值影响、增强模型鲁棒性，以及为后续WOE编码提供基础。

4.1.1 常用分箱方法对比

4.1.2 分箱质量评估指标

• 箱内坏账率单调性：优质分箱应使坏账率（目标=1的比例）随特征值单调递增或递减。
• 最小箱占比：每个箱的样本占比不应低于5%，避免小样本导致的统计不稳定。
• 最大箱占比：单个箱占比不应超过40%，防止信息过度集中。
• IV值贡献：每个箱对总IV值的贡献应相对均衡，避免个别箱主导。

4.2 WOE编码：证据权重转换

WOE（Weight of Evidence，证据权重）是一种将分类变量转换为连续变量的编码方式，广泛应用于信用评分卡和风控模型中。WOE值衡量的是每个分箱中“好客户”与“坏客户”分布的差异程度。

4.2.1 WOE计算公式

WOE_i = ln( (坏样本占比_i) / (好样本占比_i) )

其中：
- 坏样本占比_i = 第i箱中坏样本数 / 总坏样本数
- 好样本占比_i = 第i箱中好样本数 / 总好样本数
- ln 为自然对数

4.2.2 WOE编码的数学性质

4.2.3 WOE编码的批次偏移敏感性

WOE编码依赖于训练集的好/坏样本分布。当批次偏移发生时，若新批次中好/坏样本比例发生变化，原有WOE映射可能失效。因此，在批次偏移监控中，应定期计算新批次的WOE值并与训练集对比，若偏差超过阈值（如|ΔWOE| > 0.5），则需考虑特征重构或模型更新。

4.3 IV值计算：特征筛选与信息量评估

IV（Information Value，信息量）是衡量特征对目标变量区分能力的指标，常用于特征筛选。IV值基于WOE计算，综合了每个分箱的信息贡献。

4.3.1 IV计算公式

IV = Σ ( (坏样本占比_i - 好样本占比_i) × WOE_i )

其中求和遍历所有分箱 i

4.3.2 IV值判断标准

4.4 特征重要性排序：定位偏移根因

特征重要性排序用于识别哪些特征对模型预测贡献最大。在批次偏移根因分析中，结合特征重要性排序与分布偏移检测，可以快速定位导致模型性能下降的关键特征。

4.4.1 常用特征重要性评估方法

4.4.2 批次偏移根因定位流程

1. 计算训练集特征重要性：使用SHAP或Permutation Importance获取特征排序。
2. 计算新批次特征分布偏移：对每个特征计算PSI或KS统计量。
3. 构建偏移-重要性矩阵：将特征按重要性（高/低）和偏移程度（大/小）分为四象限。
4. 定位根因特征：重点关注“高重要性 + 大偏移”象限的特征，这些是导致模型性能下降的主要候选。
5. 深入分析：对候选特征进行分箱级别的WOE变化分析，确定偏移的具体区间。

4.5 特征工程全流程SVG图

下图展示了从原始特征到批次偏移根因定位的完整特征工程流程，包含分箱、WOE编码、IV计算和重要性排序四个核心环节，以及它们与批次偏移监控的衔接关系。

4.6 特征工程与批次偏移的关联矩阵

下表总结了特征工程各环节与批次偏移根因分析的关键关联点，帮助在实际项目中快速定位问题。

4.7 特征工程代码示例

以下Python代码展示了特征分箱、WOE编码、IV计算和特征重要性排序的完整实现，使用scikit-learn和pandas库。

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

# ========== 1. 特征分箱（等频分箱） ==========
def equal_freq_binning(x, n_bins=10):
    """等频分箱，返回分箱边界和分箱后的特征"""
    # 使用分位数确定边界
    quantiles = np.linspace(0, 1, n_bins + 1)
    bins = np.percentile(x, quantiles * 100)
    # 去重边界
    bins = np.unique(bins)
    # 分箱
    binned = np.digitize(x, bins, right=True)
    return bins, binned

# ========== 2. WOE编码 ==========
def calc_woe_iv(x_binned, y):
    """计算每个分箱的WOE值和总IV值"""
    df = pd.DataFrame({'bin': x_binned, 'target': y})
    total_good = (y == 0).sum()
    total_bad = (y == 1).sum()
    
    grouped = df.groupby('bin')['target'].agg(['count', 'sum'])
    grouped.columns = ['total', 'bad']
    grouped['good'] = grouped['total'] - grouped['bad']
    grouped['bad_pct'] = grouped['bad'] / total_bad
    grouped['good_pct'] = grouped['good'] / total_good
    
    # 平滑处理：加1避免除零
    grouped['woe'] = np.log((grouped['bad_pct'] + 1e-6) / (grouped['good_pct'] + 1e-6))
    grouped['iv_contrib'] = (grouped['bad_pct'] - grouped['good_pct']) * grouped['woe']
    
    iv_total = grouped['iv_contrib'].sum()
    return grouped[['woe', 'iv_contrib']], iv_total

# ========== 3. 特征重要性排序 ==========
def feature_importance_ranking(X, y, top_n=10):
    """使用随机森林计算特征重要性并排序"""
    rf = RandomForestClassifier(n_estimators=100, random_state=42)
    rf.fit(X, y)
    
    importance_df = pd.DataFrame({
        'feature': X.columns,
        'importance': rf.feature_importances_
    }).sort_values('importance', ascending=False)
    
    return importance_df.head(top_n)

# ========== 4. 批次偏移根因分析 ==========
def batch_shift_root_cause(train_df, new_df, target_col, top_features=10):
    """结合特征重要性和PSI偏移量定位根因特征"""
    # 计算训练集特征重要性
    X_train = train_df.drop(columns=[target_col])
    y_train = train_df[target_col]
    importance = feature_importance_ranking(X_train, y_train, top_features)
    
    # 计算每个特征的PSI
    psi_results = []
    for feat in importance['feature']:
        # 等频分箱（基于训练集边界）
        bins, _ = equal_freq_binning(train_df[feat], n_bins=10)
        train_binned = np.digitize(train_df[feat], bins, right=True)
        new_binned = np.digitize(new_df[feat], bins, right=True)
        
        # 计算PSI
        train_dist = np.bincount(train_binned, minlength=len(bins)+1) / len(train_binned)
        new_dist = np.bincount(new_binned, minlength=len(bins)+1) / len(new_binned)
        # 平滑处理
        train_dist = np.clip(train_dist, 1e-6, None)
        new_dist = np.clip(new_dist, 1e-6, None)
        psi = np.sum((new_dist - train_dist) * np.log(new_dist / train_dist))
        psi_results.append(psi)
    
    importance['psi'] = psi_results
    importance['shift_score'] = importance['importance'] * importance['psi']
    
    return importance.sort_values('shift_score', ascending=False)