4. 数据采集与预处理：从数据库/API获取保单与理赔数据、处理缺失值、异常值检测与处理

实时赔付率预测模型的质量高度依赖输入数据的完整性与准确性。本章聚焦于从生产环境采集原始保单与理赔数据，并完成缺失值填充、异常值识别与清洗，为后续特征工程与模型训练奠定可靠基础。

4.1 数据源与采集策略

实时赔付率模型通常需要融合两类核心数据源：保单主数据（静态属性）与理赔流水数据（动态事件）。采集方式根据系统架构分为数据库直连与API流式接入。

4.2 数据采集流程架构

下图展示了从数据源到预处理模块的标准化采集管道，包含批处理与流处理两条路径。

4.3 缺失值处理策略

保单与理赔数据中常见的缺失场景包括：理赔金额未录入、风险等级缺失、保单生效日期为空等。不同字段的缺失机制与业务含义不同，需采用差异化填充策略。

4.4 异常值检测与处理

赔付率相关数据中，异常值通常表现为：理赔金额远超正常范围、保单保费为负值、理赔日期早于保单生效日期等。异常值会严重扭曲模型训练，必须系统化检测与处理。

4.4.1 异常值检测方法对比

4.4.2 异常值处理流程

下图展示了从检测到处理的完整决策链路，确保异常值被合理识别并处置。

4.5 数据预处理代码示例

以下Python代码片段展示了使用Pandas对保单数据进行缺失值填充与异常值检测的典型实现，可直接嵌入实时预处理管道。

import pandas as pd
import numpy as np

# 加载原始保单与理赔数据
policy_df = pd.read_parquet('policy_data.parquet')
claim_df = pd.read_parquet('claim_data.parquet')

# 合并为宽表
merged_df = pd.merge(policy_df, claim_df, on='policy_id', how='left')

# ========== 缺失值处理 ==========
# 按险种分组中位数填充理赔金额
claim_median = merged_df.groupby('product_code')['claim_amount'].transform('median')
merged_df['claim_amount'].fillna(claim_median, inplace=True)

# 风险等级众数填充
risk_mode = merged_df['risk_level'].mode()[0]
merged_df['risk_level'].fillna(risk_mode, inplace=True)

# ========== 异常值检测（IQR方法） ==========
def detect_outliers_iqr(series):
    Q1 = series.quantile(0.25)
    Q3 = series.quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    return (series < lower_bound) | (series > upper_bound)

# 对理赔金额进行异常标记
merged_df['claim_amount_outlier'] = detect_outliers_iqr(merged_df['claim_amount'])

# 异常值截尾处理（替换为上下限）
upper_limit = merged_df['claim_amount'].quantile(0.95)
lower_limit = merged_df['claim_amount'].quantile(0.05)
merged_df['claim_amount'] = merged_df['claim_amount'].clip(lower_limit, upper_limit)

# 输出清洗后数据
merged_df.to_parquet('cleaned_data.parquet', index=False)
print(f"清洗完成，共处理 {len(merged_df)} 条记录，异常值占比 {merged_df['claim_amount_outlier'].mean():.2%}")

4.6 数据质量监控指标

在预处理管道上线后，需要持续监控数据质量，确保模型输入稳定。以下为关键监控指标及其告警阈值。