1. 课程导论：什么是可解释性变量衍生、为什么需要分箱、课程整体框架与学习目标
1.1 从原始数据到可解释特征：核心概念
在数据科学项目中，模型的表现不仅取决于算法选择，更依赖于输入特征的质量。然而，许多原始变量（如年龄、收入、交易金额）直接输入模型时，往往存在以下问题：
- 非线性关系：变量与目标之间并非简单的线性关系，例如年龄与违约率呈 U 型曲线。
- 异常值敏感：极端值会显著影响模型参数估计。
- 业务解释困难：连续变量每增加一个单位对预测的影响难以向业务方直观说明。
可解释性变量衍生（Interpretable Feature Engineering）是指：在保留业务语义的前提下，通过变量变换、组合、分箱等手段，生成既提升模型性能、又易于被人类理解的衍生特征。其核心原则是：特征的变化方向与业务逻辑一致，且变化幅度可解释。
关键区分： 传统特征工程追求“预测精度最大化”，可解释性特征工程追求“精度与可解释性的帕累托最优”。例如，将年龄分箱为 [18-25, 26-35, 36-50, 51+] 比直接使用原始年龄更容易在风控规则中落地。
1.2 为什么需要分箱？—— 三大核心价值
分箱（Binning）是将连续变量或离散变量划分为有限个区间（箱）的过程。在可解释性建模中，分箱是不可或缺的预处理步骤，其价值体现在以下三个维度：
| 维度 | 说明 | 典型场景 |
|---|---|---|
| 非线性建模 | 分箱后每个箱可独立估计 WOE/IV 或风险比率，自动捕捉 U 型、倒 U 型等复杂关系 | 信用评分卡中年龄与违约率的非线性关系 |
| 异常值鲁棒性 | 极端值被自动归入首箱或尾箱，不再单独影响模型参数 | 收入变量中 0 元与 999999 元被合理截断 |
| 业务可解释性 | 每个箱对应一个明确的业务含义（如“高收入群体”），便于制定规则 | 风控策略中“年龄 < 25 岁”直接对应拒绝规则 |
实践提示： 分箱并非越多越好。箱数过多会导致过拟合，箱数过少会丢失信息。通常建议每箱至少包含 5% 的样本，且箱数控制在 5-10 个之间。
1.3 课程整体框架：四阶段递进式学习
本课程共 30 章，按“基础 → 方法 → 实战 → 进阶”四个阶段组织，确保从理论到落地的完整闭环：
1.4 学习目标与预期产出
完成本课程后，你将具备以下能力：
- 理解核心原理：掌握变量衍生与分箱的统计学基础，包括 WOE、IV、信息增益等核心指标的计算与解读。
- 掌握主流方法：熟练使用等距分箱、等频分箱、卡方分箱、决策树分箱、最优分箱等 10+ 种分箱算法。
- 实战落地能力：基于真实信贷数据完成从变量衍生、分箱、评分卡构建到模型评估的全流程。
- 可解释性评估：能够量化评估分箱方案的可解释性，并生成业务可读的特征报告。
- 自动化框架：搭建可复用的自动分箱与变量衍生流水线，提升工作效率。
前置要求： 建议学习者具备 Python 基础编程能力，了解 pandas、numpy 基本操作，并对逻辑回归、决策树等基础模型有初步认识。课程中涉及的代码均提供完整注释与数据样例。
1.5 课程中的关键术语速查
| 术语 | 英文 | 简要定义 |
|---|---|---|
| 变量衍生 | Feature Engineering | 从原始变量创建新特征的过程，包括变换、组合、分箱等 |
| 分箱 | Binning | 将连续变量或离散变量划分为有限个区间 |
| WOE | Weight of Evidence | 衡量每个箱中好坏样本分布差异的指标 |
| IV | Information Value | 衡量变量整体预测能力的指标，IV > 0.3 通常认为强预测力 |
| 可解释性 | Interpretability | 人类能够理解模型或特征做出预测的原因的程度 |