4. 数据准备与质量
准备金回溯（Backtesting）与偏差分析的可信度，首先取决于输入数据的质量。如果数据来源不清、口径不一、缺失与异常未处理，后续的模型计算、偏差归因和结论输出都会失去意义。本节聚焦数据准备与质量控制的四个关键环节：数据来源、数据清洗、数据一致性检查、缺失值与异常值处理，并结合准备金评估场景给出可落地的操作框架。
一、核心原理：数据质量决定回溯结论的“可解释性”
准备金回溯的本质，是用实际经验数据去检验历史评估假设的合理性。它要求数据具备四个基本属性：完整性、准确性、一致性、可追溯性。完整性指评估时点、险种、机构、赔案等维度没有系统性遗漏；准确性指金额、日期、状态等字段真实反映业务事实；一致性指同一指标在不同系统、不同期间、不同机构之间口径统一；可追溯性指每个数据点都能回溯到原始凭证或系统日志。
在准备金场景中，数据通常来自核心业务系统、理赔系统、财务总账、精算评估平台、再保系统等多个源头。不同来源的数据在粒度、时点、币种、口径上存在天然差异。因此，数据准备不是简单的“取数”，而是一次口径对齐与质量加固的过程。
关键判断：如果回溯结果出现异常偏差，优先排查数据质量，而不是直接调整模型参数。大量实务偏差最终被证明源于数据口径错配、重复记录或缺失值填充不当。
二、方法流程：从取数到可用数据集的五步法
建议将数据准备拆解为五个可审计的步骤，每一步都保留日志与版本记录：
- 数据来源登记：记录系统名称、表名、字段、提取时间、提取人、数据期间、币种与口径说明。
- 数据清洗：统一日期格式、金额单位、机构代码、险种代码，去除重复记录与测试数据。
- 一致性检查：核对总分关系、跨系统勾稽关系、期初期末衔接关系。
- 缺失值处理：区分随机缺失与系统性缺失，选择删除、插补或标记策略。
- 异常值处理：识别极端值、逻辑矛盾值与离群点，决定保留、修正或剔除。
下面是一个典型的数据质量检查配置片段，可用于自动化脚本或评估平台参数设置：
data_quality_check:
source: "claims_core + finance_gl"
period: "2021-01-01 ~ 2023-12-31"
checks:
- name: "duplicate_claim_id"
rule: "count(claim_id) == count(distinct claim_id)"
- name: "paid_amount_non_negative"
rule: "paid_amount >= 0"
- name: "report_date_le_close_date"
rule: "report_date <= close_date"
- name: "reserve_gl_reconcile"
rule: "abs(core_reserve - gl_reserve) / gl_reserve < 0.005"
missing_value_policy:
numeric: "median_impute_with_flag"
date: "drop_if_critical"
category: "mode_impute"
outlier_policy:
method: "IQR"
action: "flag_and_review"三、一致性检查与缺失值、异常值处理要点
一致性检查是数据准备中最容易被低估的环节。准备金回溯至少需要完成三类勾稽：总分勾稽（明细与汇总一致）、跨系统勾稽（理赔系统与财务总账一致）、时间勾稽（期初余额加本期变动等于期末余额）。任何一类不通过，都应暂停回溯并定位差异原因。
缺失值处理需要先判断缺失机制。若缺失与业务状态相关（如未决赔案缺少结案日期），直接删除会引入偏差；此时应保留记录并增加“缺失标记”，在偏差分析中单独观察。异常值处理则建议采用先标记、后复核、再决定的策略，避免机械剔除导致尾部风险被低估。
| 问题类型 | 典型表现 | 推荐处理策略 | 风险提示 |
|---|---|---|---|
| 重复记录 | 同一赔案多次入账 | 按业务主键去重，保留最新状态 | 重复会虚增已付与准备金 |
| 口径不一致 | 含税与不含税混用 | 统一到评估口径并记录转换规则 | 导致偏差归因错误 |
| 系统性缺失 | 某机构某季度无数据 | 追溯源头，补录或标记为不完整 | 低估该机构风险 |
| 极端异常值 | 单笔赔款远超历史分位 | 复核凭证，确认后保留并单独分析 | 误删会低估尾部风险 |
| 逻辑矛盾 | 报案日期晚于结案日期 | 回查原始系统，修正或剔除 | 破坏时间序列一致性 |
实操建议：为每个数据集建立“数据质量记分卡”，记录完整性率、一致性通过率、异常值占比与缺失率。回溯报告应附上记分卡，使结论具备可审计性。
四、案例与复盘：一次偏差分析的数据溯源
某公司在2023年准备金回溯中发现，某险种已付赔款偏差率突然上升至12%。初步怀疑是赔付趋势变化，但数据质量复核发现：理赔系统在2022年四季度切换了机构代码，导致部分赔案被归入“未知机构”，在汇总时被重复计入另一机构。经过代码映射修复与重复记录清理后，偏差率回落至3%以内。
这个案例说明：偏差分析的第一步不是解释偏差，而是确认数据本身没有系统性错误。复盘时应重点检查：数据来源是否变更、代码映射是否更新、跨系统勾稽是否通过、缺失与异常处理是否引入新偏差。
常见误区：用均值填充所有缺失值、直接删除所有异常值、忽略币种与税率差异、不做版本管理。这些做法会掩盖真实风险，使回溯结论失去决策价值。
完成上述数据准备后，回溯与偏差分析才具备可靠起点。数据质量不是一次性任务，而应贯穿评估、回溯、复盘的全过程，并通过版本管理与质量记分卡持续监控。