4、标准化与归一化：Z-score标准化、Min-Max归一化、Robust标准化在分箱前的预处理作用

在分箱操作之前，对原始变量进行标准化或归一化处理，是提升分箱稳定性与可解释性的关键步骤。不同量纲和分布形态的变量，若直接进行等距或等频分箱，会导致分箱边界被极端值或量级差异主导，从而掩盖真实的数据分布规律。本节系统梳理三种主流预处理方法及其在分箱场景中的适用性。

4.1 为什么分箱前需要预处理？

原始特征通常存在以下问题，直接影响分箱质量：

• 量纲差异：年龄（0-100）与收入（0-10⁶）无法在同一尺度下比较分箱边界。
• 极端值干扰：长尾分布中，等频分箱会将大量样本压缩在少数箱体内。
• 分布偏态：偏态分布下，等距分箱会导致部分箱体样本稀疏。

预处理的核心目标是将原始特征映射到统一尺度，同时保留分箱所需的分布信息，使后续分箱边界更具统计意义与业务可解释性。

4.2 三种标准化/归一化方法对比

4.3 方法详解与分箱适配性

4.3.1 Z-score 标准化

Z-score 将原始数据转换为以均值为中心、标准差为单位的分数。适用于特征近似服从正态分布的场景。分箱时，Z-score 值可直接映射到标准正态分布的分位数上，便于使用等概率分箱。

# Python 示例：Z-score 标准化
import numpy as np
from scipy import stats

data = np.array([12, 15, 14, 10, 18, 100])  # 含极端值
mean = np.mean(data)
std = np.std(data)
z_scores = (data - mean) / std
print(z_scores)
# 输出: [-0.47 -0.35 -0.41 -0.59 -0.23  2.05]

4.3.2 Min-Max 归一化

Min-Max 将数据线性压缩到 [0,1] 区间。当特征具有明确的理论最小值和最大值（如评分 0-100、年龄 0-120）时，该方法能保持原始比例关系。分箱时，[0,1] 区间可直接等分为 10 个 0.1 宽度的箱体，边界清晰且易于解释。

# Python 示例：Min-Max 归一化
data = np.array([12, 15, 14, 10, 18, 100])
min_val = np.min(data)
max_val = np.max(data)
normalized = (data - min_val) / (max_val - min_val)
print(normalized)
# 输出: [0.022 0.056 0.044 0.     0.089 1.   ]

4.3.3 Robust 标准化

Robust 标准化使用中位数和四分位距（IQR），不受极端值影响。对于收入、通话时长、点击次数等长尾分布特征，Robust 标准化能稳定地反映主体数据的分布结构，使分箱边界集中在数据密集区域。

# Python 示例：Robust 标准化
from scipy.stats import iqr

data = np.array([12, 15, 14, 10, 18, 100])
median = np.median(data)
iqr_val = iqr(data)
robust = (data - median) / iqr_val
print(robust)
# 输出: [-0.33  0.   -0.17 -0.67  0.5   6.83]

4.4 预处理对分箱效果的影响：SVG 对比图

下图直观展示同一组含极端值的数据，经过三种预处理后的分布形态，以及等距分箱的边界变化。

4.5 预处理方法选择决策流程

在实际项目中，可按以下步骤快速确定预处理方法：

1. 检查极端值：通过箱线图或 Z-score 绝对值 > 3 的比例判断。
2. 判断分布形态：使用直方图或 Shapiro-Wilk 检验正态性。
3. 选择方法：
   • 无极端值 + 近似正态 → Z-score
   • 无极端值 + 已知边界 → Min-Max
   • 有极端值 + 偏态分布 → Robust
4. 验证分箱效果：预处理后，检查等距分箱的箱体样本量是否均匀，极端值是否被合理隔离。

4.6 预处理后的分箱策略适配