3. 等频分箱：原理、实现与适用场景

等频分箱（Equal-Frequency Binning）是变量分箱中最直观、最常用的方法之一。其核心思想是：将连续变量划分为若干区间，使得每个区间内包含的样本数量尽可能相等。与等距分箱不同，等频分箱不关心数值的绝对跨度，而是关注每个箱体中的样本密度。

3.1 等频分箱原理

等频分箱的目标是让每个箱体（bin）中的样本数量大致相同。假设总样本数为 N，需要划分为 k 个箱体，则每个箱体应包含约 N/k 个样本。实际实现时，通常基于分位数（quantile）来确定箱体的边界。

例如，将 1000 个样本分为 5 箱，则每个箱体应包含约 200 个样本。箱体边界依次为：第 20% 分位数、第 40% 分位数、第 60% 分位数、第 80% 分位数。

3.2 Python 实现等频分箱

Python 中实现等频分箱主要有两种方式：使用 pandas.qcut() 函数或基于 numpy.percentile() 手动计算分位数。以下给出完整代码示例。

方法一：使用 pandas.qcut()

import pandas as pd
import numpy as np

# 生成示例数据
np.random.seed(42)
data = pd.DataFrame({
    'age': np.random.randint(18, 70, size=1000),
    'income': np.random.exponential(scale=50000, size=1000)
})

# 等频分箱：将 age 分为 5 箱
data['age_bin'], bins = pd.qcut(data['age'], q=5, labels=['Q1','Q2','Q3','Q4','Q5'], retbins=True)

print("分箱边界：", bins)
print("\n各箱体样本数：")
print(data['age_bin'].value_counts().sort_index())

方法二：基于 numpy.percentile() 手动实现

import numpy as np

def equal_freq_binning(series, n_bins):
    """
    手动实现等频分箱
    参数:
        series: 一维数组或 Series
        n_bins: 箱体数量
    返回:
        bins: 分箱边界列表（包含首尾）
        labels: 每个样本对应的箱体编号
    """
    # 计算分位数边界
    percentiles = np.linspace(0, 100, n_bins + 1)
    bins = np.percentile(series, percentiles)
    
    # 处理边界重复的情况（当数据中存在大量相同值时）
    bins = np.unique(bins)
    
    # 分配箱体标签
    labels = np.digitize(series, bins=bins[1:-1])  # 去掉首尾边界
    return bins, labels

# 使用示例
bins, labels = equal_freq_binning(data['income'], n_bins=5)
print("手动分箱边界：", bins)
print("各箱体样本数：", np.bincount(labels))

3.3 等频分箱的优缺点与适用场景

等频分箱在实际应用中既有显著优势，也存在固有局限。以下通过表格和列表进行系统对比。

适用场景

• 样本分布极不均匀时： 当变量存在长尾分布（如收入、点击量），等频分箱能确保每个箱体都有足够样本进行统计建模。
• 需要稳定分箱结果时： 相比等距分箱，等频分箱对异常值不敏感，分箱结果更稳定。
• 作为分箱基线方法： 在探索性数据分析阶段，快速将连续变量离散化，为后续更复杂的分箱方法提供参考。
• 与 SHAP 分析配合时： 等频分箱后的变量在 SHAP 值计算中能保持较好的样本覆盖度，避免因箱体样本过少导致 SHAP 值不稳定。

不适用场景

• 需要业务可解释边界时： 如年龄分箱要求边界为整数（18-25, 26-35），等频分箱可能产生 23.7 这样的非整数边界。
• 变量存在明显自然分段时： 如考试成绩的及格线（60分）、信用评分的阈值（700分），等频分箱会忽略这些业务含义。
• 数据中存在大量重复值时： 如离散型整数变量（0, 1, 2, ...），等频分箱可能无法找到合适的分位数边界。