课程导论：变量衍生与分箱在模型训练中的核心地位，回放验证的必要性
在工业级风控、推荐与营销模型中，原始数据几乎无法直接进入逻辑回归或树模型。特征工程的质量直接决定了模型效果的上限，而变量衍生与分箱是特征工程中最核心的两项技术。同时，回放验证作为模型上线前的最后一道防线，能够有效避免因时间穿越、数据泄露导致的性能虚高。
1. 变量衍生：从原始数据到高价值特征
变量衍生（Feature Derivation）是指基于业务逻辑或统计变换，从原始字段中构造新特征的过程。常见的衍生方式包括：
| 衍生类型 | 典型操作 | 适用场景 |
|---|---|---|
| 数值变换 | 对数、平方根、倒数、Box-Cox | 长尾分布、偏态特征 |
| 交叉组合 | 笛卡尔积、比率、差值 | 收入/负债比、年龄×额度 |
| 聚合统计 | 滑动窗口均值、最大值、计数 | 时序行为、交易频率 |
| 编码映射 | WOE编码、Target Encoding | 高基数类别变量 |
核心原则：衍生变量必须具有业务可解释性，避免盲目堆叠导致过拟合。每新增一个特征，都应通过单变量IV（Information Value）或特征重要性进行筛选。
2. 分箱：离散化与非线性拟合
分箱（Binning）将连续变量或高基数离散变量划分为有限个区间，是逻辑回归等线性模型处理非线性关系的关键手段。分箱的主要目标包括：
- 捕获非线性：例如年龄与违约率呈U型关系，分箱后可分段建模。
- 降低噪声：消除极端值或稀疏区间的影响。
- 提升稳定性：离散化后的特征对微小波动不敏感。
- 便于业务解释：如“收入在1万~2万之间”比连续值更直观。
常见分箱方法对比：
| 方法 | 原理 | 优点 | 缺点 |
|---|---|---|---|
| 等距分箱 | 按数值范围均分 | 简单快速 | 易受异常值影响，分布不均 |
| 等频分箱 | 按样本数量均分 | 每箱样本量均衡 | 可能切断业务自然分段 |
| 卡方分箱 | 基于卡方检验合并相邻区间 | 统计显著性驱动 | 计算成本较高 |
| 决策树分箱 | 利用单变量树模型寻找分裂点 | 自动捕捉最优切分 | 容易过拟合 |
实践建议：在风控评分卡中，通常先进行等频预分箱（如20箱），再通过卡方分箱或手动合并，确保每箱坏样本率单调且箱内样本量不低于总体的5%。
3. 回放验证：防止时间穿越与数据泄露
回放验证（Backtesting / Walk-Forward Validation）是一种严格按照时间顺序进行的模型验证方法。与随机K折交叉验证不同，回放验证确保训练集的时间点全部早于测试集，从而模拟模型在真实未来数据上的表现。
3.1 为什么需要回放验证？
- 时间穿越风险：如果训练数据中混入了未来的信息（如用T+1期的标签预测T期的行为），模型性能会被严重高估。
- 分布漂移：信贷、营销等场景中，客群分布随时间变化，随机划分无法反映这种漂移。
- 业务决策依赖：风控模型上线后直接影响授信，必须确保其在时间轴上的稳定性。
3.2 回放验证的典型流程
- 确定时间窗口：将历史数据按时间排序，设定训练集长度（如12个月）和测试集长度（如1个月）。
- 滚动训练与预测：从最早的时间点开始，用训练集拟合模型，预测下一个测试集；然后窗口向前滚动，重复此过程。
- 汇总评估指标：将所有测试集的预测结果合并，计算KS、AUC、Lift等指标。
- 稳定性检验：观察各时间窗口的指标波动，若波动过大则需重新进行特征工程。
常见陷阱：回放验证中必须确保特征衍生时只使用训练集内的统计量（如均值、分位数），否则仍会造成数据泄露。例如，计算“近3个月平均消费”时，测试集样本不应参与该均值的计算。
4. 三者协同：构建稳健模型的关键路径
变量衍生、分箱与回放验证并非孤立步骤，而是构成一个闭环：
- 变量衍生提供丰富的候选特征池；
- 分箱将连续特征转化为稳定的离散输入；
- 回放验证在时间轴上检验衍生与分箱的有效性，若效果不佳则返回调整衍生逻辑或分箱边界。
课程目标：通过本课程，你将掌握从原始数据到最终模型的全流程特征工程技能，并学会使用回放验证为模型质量兜底。每一章都会提供可复用的代码模板与实战案例。