4. 数据来源与治理
经验分析的质量，首先取决于数据的质量。在寿险经验分析中，我们通常需要整合来自多个系统的数据：保单系统提供承保与有效保单信息，理赔系统提供出险与赔付信息，再保数据提供分出与摊回信息。这三类数据在字段口径、时间基准、颗粒度上往往存在差异，若直接拼接使用，极易导致暴露数、赔付率、发生率等指标失真。因此，数据治理不是经验分析的“前置杂活”，而是决定分析结论可信度的核心环节。
核心原理：三类数据源的定位与关联逻辑
保单系统是经验分析的“分母基础”。它记录保单的承保日期、保险期间、保额、保费、被保险人年龄性别、险种代码、缴费方式、保单状态等。经验分析中的暴露数（Exposure）通常由保单系统按“保单年度”或“日历年度”逐月拆分计算。理赔系统是“分子来源”，记录报案、立案、审核、赔付、拒赔、注销等状态及对应金额和时间。再保数据则用于区分自留与分出责任，尤其在死亡率、重疾发生率分析中，若忽略再保安排，可能高估公司实际承担的风险。
三类数据的关联键通常包括：保单号、被保险人ID、险种代码、责任代码、事故日期、理赔案件号。关联时需特别注意“时间锚点”的统一：保单系统用承保日期和保单年度，理赔系统用事故日期和报案日期，再保系统用分出生效日期和摊回日期。若时间锚点不一致，暴露数与赔案数将无法正确匹配。
方法流程：从原始数据到分析基础表
一个可复用的经验分析数据治理流程通常包含以下步骤：
- 数据抽取与快照：从各系统按分析截止日抽取数据，保留抽取时间戳和版本号，确保可追溯。
- 字段映射与口径对齐：建立字段映射表，统一险种代码、责任代码、状态代码、金额单位、日期格式。
- 数据清洗：处理缺失值、重复记录、逻辑矛盾（如赔付日期早于承保日期）、异常值（如保额为负）。
- 关联与拼接：以保单号+被保险人ID为主键，关联理赔与再保数据，形成案件级明细。
- 暴露数计算：按保单年度或日历年度拆分，计算每个观察单元的暴露数（如人年、保额年）。
- 质量检查与勾稽：核对总保费、总赔款、总保额与财务系统或精算报表是否一致。
案例/场景：一次重疾发生率分析的数据治理复盘
某公司在重疾发生率分析中发现，某款产品的发生率异常偏高。排查后发现：理赔系统中部分案件的事故日期被误录为报案日期，导致这些案件被错误地归入观察期；同时，再保数据中部分分出案件的摊回金额未及时更新，造成自留赔款被高估。经过以下修正后，发生率回归合理区间：
- 统一以“事故日期”作为理赔归属时点，而非报案日期；
- 对再保摊回数据增加“数据截止日”校验，未更新案件标记为待确认；
- 对事故日期早于承保日期的案件进行逐笔人工复核；
- 重新计算暴露数，剔除观察期不足12个月的保单年度。
该案例说明，数据治理的疏漏会直接传导为分析结论的偏差，且这种偏差往往不易被察觉。
误区与复盘：常见数据质量陷阱
| 误区 | 后果 | 应对措施 |
|---|---|---|
| 直接用理赔系统日期作为事故日期 | 观察期归属错误，发生率失真 | 以事故日期为准，缺失时回溯报案描述 |
| 忽略再保分出，使用毛赔款 | 高估公司自留风险 | 关联再保数据，计算净自留赔款 |
| 保单状态未按观察期截断 | 暴露数虚高或虚低 | 按月度拆分，仅保留有效状态月份 |
| 险种代码未统一映射 | 责任归类错误，经验分析颗粒度混乱 | 建立代码映射表并定期维护 |
| 未做勾稽校验 | 数据遗漏或重复无法发现 | 与财务、精算报表交叉核对 |
-- 示例：按保单年度拆分暴露数并标记有效月份
SELECT
policy_no,
insured_id,
policy_year,
COUNT(DISTINCT calendar_month) AS exposure_months,
SUM(face_amount) / 12 AS exposure_amount_year
FROM policy_monthly_snapshot
WHERE policy_status = '有效'
AND calendar_month BETWEEN '2023-01' AND '2023-12'
GROUP BY policy_no, insured_id, policy_year;
数据治理的最终目标，是让经验分析人员能够信任手中的基础表：知道每个字段来自哪里、经过什么处理、口径是否一致、异常是否已被识别。只有在这个基础上，后续的暴露数计算、发生率拟合、趋势检验才有意义。