4. 数据准备与ETL：回放验证所需数据源

精算模型规则命中回放验证的核心在于“真实数据驱动”。本章聚焦于如何从生产环境中提取、清洗、标准化并脱敏保单与理赔数据，构建可供回放引擎直接消费的高质量数据集。数据准备的质量直接决定回放验证的可信度与效率。

4.1 所需数据源全景

回放验证需要至少三类数据源：保单数据（承保时点快照）、理赔数据（出险及结案记录）、模型输入输出（原始模型评分与规则命中日志）。下表列出各数据源的核心字段与用途：

4.2 数据清洗与标准化

原始生产数据通常包含空值、异常值、格式不一致等问题。清洗与标准化是保证回放结果可比较的前提。以下为关键清洗步骤：

1. 空值处理：对数值型字段（如保额、保费）使用中位数或业务默认值填充；对类别型字段（如渠道代码）使用“未知”标记；对关键关联字段（如保单号）空值行直接剔除并记录日志。
2. 异常值过滤：年龄字段限制在 0-120 岁；保额字段剔除负数及超过业务上限（如 1 亿元）的记录；日期字段校验逻辑顺序（出险日期不得早于起保日期）。
3. 格式标准化：日期统一为 YYYY-MM-DD；金额统一为浮点数，保留两位小数；类别代码统一为大写字母+数字格式（如 CHN001）。
4. 时间窗口对齐：回放验证通常需要固定观察期（如 2023-01-01 至 2023-12-31），需将保单与理赔数据裁剪至该窗口内，并剔除窗口外记录。

4.3 数据脱敏处理

回放验证环境通常为非生产环境，必须对敏感个人信息（PII）进行脱敏。脱敏策略需在保留数据分布特征的前提下，消除可识别性。常用脱敏方法如下：

4.4 ETL 流程架构

下图展示回放验证数据准备的 ETL 流程架构，涵盖从生产数据源到回放数据集的完整链路：

4.5 数据质量校验清单

ETL 完成后，需执行以下质量校验，确保数据可用于回放验证：

• 完整性：保单数据与理赔数据的关联匹配率应 ≥ 95%；模型输入输出中每条记录均有对应的保单号。
• 一致性：脱敏后的保单号在保单数据、理赔数据、模型输入输出中保持一致（使用同一哈希算法）。
• 时效性：数据时间窗口覆盖回放验证所需的完整观察期，无缺失月份。
• 分布保真：脱敏后关键字段（如保额、年龄）的统计分布（均值、分位数）与生产数据偏差 ≤ 5%。

import pandas as pd

policy_df = pd.read_parquet("policy_cleaned.parquet")
claim_df = pd.read_parquet("claim_cleaned.parquet")

merged = pd.merge(policy_df, claim_df, on="policy_id", how="inner")
match_rate = len(merged) / len(claim_df) * 100
print(f"保单-理赔关联匹配率: {match_rate:.2f}%")
assert match_rate >= 95, "关联匹配率低于95%，请检查数据源"

4.6 数据版本管理

回放验证通常需要多次迭代，每次 ETL 生成的数据集应附带版本标签。建议采用以下命名规范：

将版本信息写入数据集的元数据文件（如 _metadata.json），便于后续追溯与回滚。