3. 数据准备与清洗：案例数据集介绍

数据质量是精算模型稳定性的基石。在赔付率异常波动检测中，原始数据通常来自核心业务系统、理赔系统和再保系统，存在字段缺失、记录重复、极端值干扰等问题。本节以车险和非车险两个典型数据集为例，说明数据准备与清洗的标准流程。

3.1 案例数据集概览

本课程使用两个精算实务中具有代表性的数据集：车险数据集（高频低损、保单量大）和非车险数据集（低频高损、风险异质性高）。两个数据集均经过脱敏处理，保留核心精算字段。

3.2 数据字段说明

两个数据集共享部分通用字段，同时包含各自特有的精算变量。以下为关键字段清单：

3.2.1 通用字段

3.2.2 车险特有字段

3.2.3 非车险特有字段

3.3 缺失值处理

对两个数据集的缺失情况进行统计，发现以下模式：

• 车险数据集：缺失主要集中在 driver_age（缺失率 3.2%）和 ncd_level（缺失率 1.8%），属于随机缺失（MAR）。
• 非车险数据集：cat_index 缺失率高达 12.5%，且缺失样本的赔付率均值显著高于非缺失样本（62.1% vs 46.3%），属于非随机缺失（MNAR），需要谨慎处理。

本案例采用以下策略：

# Python 缺失值处理示例
import pandas as pd
import numpy as np

# 车险：中位数填充
df_car['driver_age'].fillna(df_car['driver_age'].median(), inplace=True)
df_car['ncd_level'].fillna(df_car['ncd_level'].mode()[0], inplace=True)

# 非车险：保留缺失指示变量
df_noncar['cat_index_missing'] = df_noncar['cat_index'].isna().astype(int)
df_noncar['cat_index'].fillna(df_noncar['cat_index'].median(), inplace=True)

3.4 异常值初步筛查

异常值筛查采用领域规则 + 统计方法双通道策略，避免单一方法误判。

3.4.1 领域规则筛查

• 赔付率上限：车险赔付率超过 200% 视为异常（通常由大额人伤案件或未决估损偏差导致）；非车险赔付率超过 500% 视为异常（考虑巨灾或集中出险）。
• 保费合理性：车险年保费低于 500 元或高于 50,000 元需复核；非车险保费低于 1,000 元或高于 5,000,000 元需复核。
• 理赔次数：单一保单年度理赔次数超过 5 次标记为高频出险。

3.4.2 统计方法筛查

使用 IQR（四分位距） 和 Z-score 两种方法交叉验证：

3.5 数据清洗结果汇总

经过上述步骤，两个数据集的最终清洗结果如下：