4. 数据准备与预处理：坏样本标签定义、特征工程、数据清洗与异常值处理

数据准备与预处理是精算模型坏样本归因看板搭建的基石。原始业务数据通常包含噪声、缺失值和不一致的定义，直接用于建模会导致归因偏差。本章聚焦于三个核心环节：坏样本标签的标准化定义、特征工程以及数据清洗与异常值处理，确保输入看板的数据具备高质量与可解释性。

4.1 坏样本标签定义

坏样本标签是归因分析的“因变量”，其定义直接影响模型结论。在精算场景中，坏样本通常指发生理赔、欺诈或退保等风险事件的保单或客户。定义需遵循业务逻辑与数据可获取性。

4.2 特征工程

特征工程是将原始数据转化为模型可用的数值化特征。精算模型的特征通常分为三类：保单特征、客户特征和行为特征。以下为特征工程的核心步骤：

1. 特征衍生：基于业务逻辑创建新特征。例如，从“投保年龄”与“保额”衍生出“保额/年龄比”；从“历史理赔次数”衍生出“近 6 个月理赔频率”。
2. 特征编码：将分类变量转换为数值。对于有序分类（如职业等级），使用标签编码；对于无序分类（如地区），使用独热编码或目标编码。
3. 特征缩放：对连续变量进行标准化或归一化，避免量纲差异影响模型收敛。常用方法包括 Z-score 标准化和 Min-Max 归一化。
4. 特征选择：通过相关性分析、IV 值（信息量）或树模型特征重要性筛选高贡献特征，剔除冗余变量。

# 特征衍生示例（Python 伪代码）
data['age_band'] = pd.cut(data['age'], bins=[0,25,40,60,100], labels=['青年','壮年','中年','老年'])
data['claim_freq_6m'] = data.groupby('policy_id')['claim_count'].rolling(6).mean().values

# 特征编码
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
data['region_encoded'] = le.fit_transform(data['region'])

4.3 数据清洗与异常值处理

数据清洗旨在修正或移除脏数据，异常值处理则针对偏离正常分布的极端值。两者共同保障看板数据的稳定性与模型鲁棒性。

4.3.1 数据清洗流程

• 缺失值处理：对于缺失率 < 5% 的字段，采用均值/中位数填充；对于缺失率 > 30% 的字段，考虑删除该特征或使用模型预测填充。
• 重复值处理：基于主键（如保单号）去重，保留最新记录。
• 格式统一：将日期字段统一为 YYYY-MM-DD 格式，金额字段统一为浮点数并去除货币符号。

4.3.2 异常值检测与处理

异常值可能由录入错误、极端风险事件或系统故障引起。常用检测方法包括：

4.4 数据预处理流程总览

以下 SVG 图展示了从原始数据到建模就绪数据集的完整预处理流程，包含标签定义、特征工程与数据清洗的协同关系。

4.5 特征工程与异常值处理协同关系

特征工程与异常值处理并非独立步骤，而是相互影响的迭代过程。例如，在衍生“理赔频率”特征时，若原始理赔次数包含异常高值，则需先进行截尾处理，否则衍生特征会失真。以下 SVG 图展示了这种协同关系。