4. 等频分箱实战：使用 pandas 的 qcut 函数进行等频分箱，处理重复分位点问题

等频分箱（Equal Frequency Binning）是特征工程中最常用的离散化方法之一。其核心思想是将连续变量划分为 包含近似相等样本数 的区间，使得每个箱子的样本量尽可能均匀。这种方法对异常值相对稳健，且能自动适应数据的分布密度。

在 Python 中，pandas 的 qcut 函数是执行等频分箱的标准工具。然而，当数据中存在大量重复值时，qcut 会因无法确定唯一的分位点边界而抛出 ValueError。本节将深入讲解 qcut 的正确用法与重复分位点的处理策略。

4.1 qcut 函数基础与参数解析

pandas.qcut(x, q, labels=None, retbins=False, duplicates='raise') 是等频分箱的核心 API。下表列出了关键参数及其作用：

4.2 标准等频分箱实战

以下代码演示了使用 qcut 对客户年龄进行 5 等频分箱，并返回分箱边界：

import pandas as pd
import numpy as np

# 生成示例数据：1000 个客户的年龄（20-70 岁）
np.random.seed(42)
ages = np.random.randint(20, 71, size=1000)
df = pd.DataFrame({'age': ages})

# 执行 5 等频分箱，返回边界
df['age_bin'], bins = pd.qcut(df['age'], q=5, retbins=True, duplicates='drop')

print("分箱边界:", bins)
print("\n各箱样本数:")
print(df['age_bin'].value_counts().sort_index())

输出示例：

分箱边界: [20. 30. 38. 47. 58. 70.]

各箱样本数:
(20, 30]    200
(30, 38]    200
(38, 47]    200
(47, 58]    200
(58, 70]    200
Name: age_bin, dtype: int64

可以看到，每个箱子恰好包含 200 个样本（总样本 1000 ÷ 5 箱），实现了完美的等频分布。

4.3 重复分位点问题与解决方案

当数据中存在大量重复值时，多个分位点可能落在同一个数值上，导致 qcut 无法划分出指定数量的箱子。例如，当 50% 以上的数据都是同一个值时，任何分位数都会落在这个值上。

以下代码模拟了重复分位点问题：

# 模拟重复值严重的数据：80% 的数据为 0
data_with_dupes = pd.Series([0]*800 + [1]*100 + [2]*100)

try:
    bins = pd.qcut(data_with_dupes, q=4, retbins=True)
    print("分箱成功:", bins)
except ValueError as e:
    print("错误信息:", e)
    # 输出: Bin edges must be unique: array([0., 0., 0., 1., 2.])

解决方案：设置 duplicates='drop' 参数，让 qcut 自动合并重复的分位点边界，减少实际生成的箱子数量。

# 使用 duplicates='drop' 处理重复分位点
bins_dropped, edges = pd.qcut(data_with_dupes, q=4, retbins=True, duplicates='drop')
print("实际箱子数量:", bins_dropped.nunique())
print("分箱边界:", edges)
print("\n各箱样本数:")
print(bins_dropped.value_counts().sort_index())

输出：

实际箱子数量: 3
分箱边界: [0. 1. 2.]

各箱样本数:
(0, 1]    100
(1, 2]    100
(-0.001, 0.0]    800
Name: age_bin, dtype: int64

4.4 等频分箱的完整流程与边界处理

下图展示了等频分箱从数据输入到分箱结果输出的完整流程，重点标注了重复分位点的处理分支：

4.5 实战对比：等频 vs 等宽分箱

下表从多个维度对比等频分箱与等宽分箱的差异，帮助你在实际项目中选择合适的方法：

4.6 等频分箱后的单调性检查

在评分卡等金融风控模型中，等频分箱后通常需要检查每个箱子的 坏账率（目标变量均值） 是否呈现单调趋势。以下代码展示了如何快速计算各箱的坏账率并判断单调性：

# 模拟带有目标变量的数据
np.random.seed(42)
df['target'] = np.where(df['age'] < 30, 0.3, 
                        np.where(df['age'] < 50, 0.15, 0.05))
df['target'] = np.random.binomial(1, df['target'])

# 等频分箱并计算各箱坏账率
df['age_bin'], bins = pd.qcut(df['age'], q=5, retbins=True, duplicates='drop')
bin_stats = df.groupby('age_bin', observed=False)['target'].agg(['count', 'mean'])
bin_stats.columns = ['样本数', '坏账率']
bin_stats['坏账率'] = bin_stats['坏账率'].round(4)

print("各箱坏账率统计：")
print(bin_stats)

# 检查单调性
rates = bin_stats['坏账率'].values
is_monotonic = all(rates[i] >= rates[i+1] for i in range(len(rates)-1))
print(f"\n坏账率是否单调递减：{is_monotonic}")

4.7 常见错误与避坑指南

• 错误：忘记设置 duplicates='drop' —— 当数据存在重复值时，程序直接崩溃。解决方案：始终设置该参数，并检查实际箱子数量。
• 错误：分箱数 q 设置过大 —— 导致某些箱子样本数过少（如 < 5%），统计意义不足。建议：q 不超过总样本数的 5%，且每个箱子至少包含 50 个样本。
• 错误：对类别型整数直接分箱 —— 如家庭人数 1-5，等频分箱可能将相同数值分到不同箱子。建议：先检查唯一值数量，若唯一值较少（< 10）则直接作为类别处理。
• 错误：忽略分箱边界的业务含义 —— 如年龄分箱边界为 20.5 岁，业务解释困难。建议：使用 labels 参数赋予有意义的标签，或手动调整边界到整数。

def safe_qcut(series, q, labels=None):
    """安全的等频分箱函数，自动处理重复分位点"""
    try:
        result, bins = pd.qcut(series, q=q, labels=labels, 
                               retbins=True, duplicates='drop')
        actual_bins = result.nunique()
        if actual_bins < q:
            print(f"警告：预期 {q} 箱，实际生成 {actual_bins} 箱")
        return result, bins
    except Exception as e:
        print(f"分箱失败：{e}")
        return None, None