4. 数据采集与治理
保险准备金端到端评估的准确性，首先取决于数据底座的可靠性。准备金评估涉及保单、理赔、费用、投资等多源数据，任何一处数据缺陷都会沿计算链路放大，最终导致准备金结果失真。本节围绕数据来源、质量检查、清洗、映射与校验五个环节，建立一套可复用的数据治理方法。
一、核心原理：数据治理是准备金的“地基工程”
准备金评估的数据治理，本质是解决三个问题：数据从哪里来、数据可不可信、数据能不能对齐。数据来源决定口径边界，质量检查决定可信程度，映射与校验决定数据能否与精算模型、财务科目、监管报表对齐。
治理的核心原则是“源头可控、过程可溯、结果可验”。源头可控要求每张表都有明确的责任部门和取数逻辑；过程可溯要求清洗、映射的每一步都有日志；结果可验要求关键指标能通过交叉校验闭合。
二、数据来源：识别四类核心数据域
准备金评估的数据通常来自四个域，每个域的数据特征和风险点不同：
- 保单域：承保清单、保额、保费、险种代码、起保止期、缴费方式。风险点在于险种代码与精算假设不匹配、保单状态滞后。
- 理赔域：报案、立案、估损、已决赔款、未决赔案、追偿。风险点在于估损金额频繁变动、案件状态与财务口径不一致。
- 财务域：总账科目余额、未到期责任准备金、应收保费、费用分摊。风险点在于科目映射错误、跨期调整。
- 投资域：资产市值、收益率曲线、折现率参数。风险点在于估值时点与评估基准日不一致。
取数时需明确三个要素：取数时点（评估基准日）、取数范围（险种、机构、渠道）、取数口径（含税/不含税、已赚/未赚）。
三、数据质量检查：六维检查清单
数据质量检查应覆盖完整性、准确性、一致性、唯一性、及时性、有效性六个维度。下表给出可落地的检查清单：
| 维度 | 检查内容 | 典型规则示例 |
|---|---|---|
| 完整性 | 关键字段是否缺失 | 保单号、险种代码、保额非空 |
| 准确性 | 数值是否在合理区间 | 保额>0，保费≥0，年龄18-65 |
| 一致性 | 跨表字段是否匹配 | 理赔表保单号必须存在于保单表 |
| 唯一性 | 主键是否重复 | 保单号+险种代码组合唯一 |
| 及时性 | 数据是否覆盖基准日 | 理赔数据更新至评估基准日 |
| 有效性 | 代码值是否在字典内 | 险种代码属于公司标准字典 |
检查结果应输出问题清单，标注问题类型、影响范围、责任部门，并设定修复时限。对于无法修复的数据，需评估其对准备金结果的影响程度，必要时在报告中披露。
四、数据清洗与映射：从原始数据到模型输入
数据清洗的目标是消除噪声、统一口径、补齐缺失。常见操作包括：去重、空值填充、异常值处理、单位统一、日期格式标准化。清洗规则应写入脚本，避免手工操作。
# 示例：保单数据清洗规则
1. 去除保单号重复记录，保留最新版本
2. 险种代码映射：原始代码 -> 精算险种大类
3. 保额单位统一为万元，保留两位小数
4. 起保日期格式统一为 YYYY-MM-DD
5. 缺失缴费方式按“年缴”默认填充，并标记来源
映射是清洗的关键环节，核心是建立“源字段—目标字段”的对照关系。映射表应包含：源系统、源字段、目标字段、转换规则、责任人。映射错误是准备金偏差的常见原因，必须通过校验闭环。
五、校验方法：三层校验闭环
校验是数据治理的最后一道防线，建议采用三层校验：
- 单表校验：检查单张表的字段完整性、数值范围、主键唯一性。
- 跨表校验：检查表间关联一致性，如理赔表与保单表的保单号匹配率、财务科目与精算科目的余额勾稽。
- 总量校验：检查关键汇总指标是否合理，如保费总额与财务收入匹配、未决赔款与理赔系统一致。
校验不通过时，应触发告警并暂停后续计算，待问题修复后重新执行。校验日志需完整留存，作为审计轨迹。
六、常见误区与复盘要点
误区二：清洗规则不固化。每次评估靠人工处理，导致口径漂移、结果不可复现。
误区三：映射表无人维护。业务新增险种后映射未更新，导致新业务数据被错误归类或遗漏。
误区四：校验流于形式。只做总量校验，不做跨表勾稽，问题被掩盖到报告阶段才暴露。
复盘时应重点关注：数据问题是否在源头解决、清洗规则是否版本化、映射变更是否经过审批、校验日志是否完整。只有把数据治理做成标准化流程，准备金评估才能从“一次性项目”走向“可持续运营”。