4. 特征工程基础:特征构建原则、常用特征类型与编码方法
在保险精算坏样本归因分析中,原始数据通常无法直接输入模型。特征工程是将原始数据转化为模型可理解、可学习的高质量特征的过程。本章聚焦于特征构建的核心原则、三大常用特征类型(数值型、类别型、时间型)及其编码方法,为后续构建归因样本奠定基础。
核心观点:特征工程的质量直接决定坏样本归因模型的上限。好的特征应具备可解释性、区分度与稳定性,避免信息泄露与过拟合。
4.1 特征构建原则
特征构建并非盲目堆砌变量,而是遵循一套系统化的原则,确保特征有效且可靠。
| 原则 | 说明 | 保险精算场景示例 |
|---|---|---|
| 可解释性 | 特征含义清晰,业务人员能理解其与坏样本的关系 | “近3个月理赔次数”优于“理赔频率的傅里叶变换系数” |
| 区分度 | 特征在好坏样本间分布有明显差异 | “出险后报案延迟天数”在欺诈与正常理赔中差异显著 |
| 稳定性 | 特征分布随时间、渠道、区域等变化较小 | “年龄”比“当日网络搜索热度”更稳定 |
| 时效性 | 特征反映最新状态,避免使用过时信息 | 使用“最近12个月累计保额”而非“保单生效时保额” |
| 无信息泄露 | 特征构建时不能使用未来信息或目标变量 | 不能用“理赔是否结案”预测“是否发生理赔” |
实战提示:在坏样本归因场景中,优先构建与理赔行为、保单变更、缴费记录相关的特征,这些维度通常包含最强的归因信号。
4.2 常用特征类型
保险数据中的特征可归纳为三种基本类型,每种类型需要不同的处理策略。
4.2.1 数值型特征
包括连续值(如保额、年龄、保费)和离散值(如理赔次数、家庭成员数)。
- 常见问题:量纲差异大、存在长尾分布、异常值敏感。
- 处理方向:标准化/归一化、对数变换、分箱、截尾处理。
4.2.2 类别型特征
包括无序类别(如性别、险种、渠道)和有序类别(如学历、风险等级)。
- 常见问题:基数高(如地区代码)、类别不平衡、缺失值作为独立类别。
- 处理方向:编码方式选择、低频类别合并、嵌入表示。
4.2.3 时间型特征
包括时间点(如投保日期、出险日期)和时间段(如保险期间、理赔处理时长)。
- 常见问题:周期性(年/月/周)、趋势性、节假日效应。
- 处理方向:提取时间分量、计算时间差、滑动窗口统计。
4.3 特征编码方法
不同特征类型对应不同的编码策略。错误的编码方式会引入噪声或破坏数据结构。
4.3.1 数值型特征编码
| 方法 | 适用场景 | 保险精算示例 |
|---|---|---|
| 标准化 (Z-score) | 特征服从近似正态分布,模型对尺度敏感(如SVM、逻辑回归) | 对“年龄”进行标准化 |
| Min-Max归一化 | 特征有明确边界,需要映射到[0,1]区间 | 对“理赔金额”进行归一化 |
| 对数变换 | 特征呈长尾分布,压缩极端值影响 | 对“累计保费”取log(1+x) |
| 分箱 (Binning) | 特征与目标存在非线性关系,或需要离散化处理 | 将“年龄”分为[18-25, 26-35, 36-45, 46-60, 60+] |
| 截尾 (Winsorization) | 存在明显异常值,需要限制极端值影响 | 将“理赔次数”超过99%分位数的值替换为该分位数 |
4.3.2 类别型特征编码
| 方法 | 说明 | 优点 | 缺点 |
|---|---|---|---|
| 独热编码 | 每个类别生成一个0/1二元特征 | 无顺序假设,适合线性模型 | 高基数时特征维度爆炸 |
| 标签编码 | 将类别映射为整数(0,1,2,...) | 节省内存,适合树模型 | 引入虚假顺序关系 |
| 目标编码 | 用目标变量均值替换类别 | 捕捉类别与目标的关系 | 易过拟合,需交叉验证 |
| 频率编码 | 用类别出现频率替换 | 简单,反映类别流行度 | 丢失类别语义信息 |
| 嵌入编码 | 通过神经网络学习低维稠密向量 | 高基数场景效果好 | 计算成本高,可解释性弱 |
避坑指南:在坏样本归因场景中,目标编码需谨慎使用。若直接使用全量数据计算目标均值,会导致严重的信息泄露。建议在训练集内使用K折交叉验证计算编码值,或使用留一法编码。
4.3.3 时间型特征编码
时间型特征不能直接作为数值输入,需要提取有意义的派生特征。
- 时间分量提取:年、月、日、星期几、小时、是否周末、是否节假日。
- 时间差计算:距当前时间差、距上次理赔时间差、保单生效时长。
- 滑动窗口统计:过去N天/月内的理赔次数、累计金额、平均间隔。
- 周期性编码:使用正弦/余弦变换表示周期性(如月份、星期)。
4.4 特征编码实战建议
精算场景编码优先级:
- 数值型:优先对数变换处理长尾分布(如保费、理赔金额),再根据模型选择标准化或分箱。
- 类别型:低基数(<10)用独热编码;高基数(>50)用目标编码(需交叉验证)或频率编码;树模型可直接用标签编码。
- 时间型:必须提取时间差和滑动窗口统计,这两个特征在坏样本归因中区分度最高。
特征编码完成后,建议进行特征重要性排序和相关性分析,剔除冗余或噪声特征,为后续建模提供干净、高效的特征空间。