3. 数据准备：数据源选择、清洗与质量评估

赔付率尖峰检测的成败，80% 取决于数据准备阶段的质量。精算模型对数据异常极为敏感，脏数据或错误的数据源选择会直接导致误报或漏报。本节将系统梳理保单、理赔、财务三大核心数据源的选择逻辑，数据清洗与预处理的标准化流程，以及数据质量评估的关键指标。

3.1 数据源选择：三大核心系统

赔付率计算涉及保费与赔款的匹配，必须从以下三个独立系统获取数据，并通过唯一键关联：

3.2 数据清洗与预处理流程

数据清洗需按以下六个步骤依次执行，每一步都需记录清洗日志：

1. 去重与去噪： 删除完全重复的保单/理赔记录；剔除测试保单、零保费保单、内部员工保单。
2. 缺失值处理： 关键字段（保费、赔款、日期）缺失则整条剔除；非关键字段（如渠道、销售员）可用众数填充。
3. 异常值检测： 对保费、赔款做分位数截断（如 0.5% ~ 99.5%）；单笔赔款超过保额 10 倍需标记复核。
4. 日期逻辑校验： 出险日期必须在保单有效期内；报案日期不得早于出险日期；结案日期不得早于报案日期。
5. 数据标准化： 统一日期格式为 YYYY-MM-DD；金额字段统一为元（保留两位小数）；险种代码统一为 4 位标准码。
6. 衍生变量构造： 计算已赚保费因子（按日/按月）、案均赔款、赔付率（已发生/已赚）、损失进展因子。

{
  "total_records": 125000,
  "removed_duplicates": 340,
  "removed_test_policies": 28,
  "missing_critical_filled": 0,
  "outlier_capped": 156,
  "date_logic_failed": 12,
  "final_records": 124464
}

3.3 数据质量评估框架

数据质量评估需从完整性、准确性、一致性、时效性四个维度量化打分，低于 90 分的数据集不建议直接用于尖峰检测建模。

3.4 数据准备流程架构

下图展示了从原始数据源到可用于尖峰检测的标准化数据集的完整流程：

3.5 数据质量评估报告模板

完成清洗与关联后，需输出标准化的数据质量评估报告，作为是否进入建模阶段的决策依据：

========================================
  数据质量评估报告
  报告日期：2025-03-15
  数据区间：2024-01-01 ~ 2024-12-31
========================================

[完整性]
  - 保单表缺失率：0.3%  ✅
  - 理赔表缺失率：0.8%  ✅
  - 财务表缺失率：1.5%  ✅

[准确性]
  - 异常值占比：0.6%  ✅
  - 金额字段负值记录：0  ✅

[一致性]
  - 跨系统关联匹配率：99.2%  ✅
  - 险种代码标准化率：100%  ✅

[时效性]
  - 数据延迟天数：3 天  ✅

[综合评分] 96.5 / 100  ✅ 通过

[建议]
  - 财务表 IBNR 数据延迟 3 天，在可接受范围内。
  - 理赔表中 12 条日期逻辑异常已剔除，不影响整体。
========================================