3. 数据质量评估：数据完整性、准确性、一致性、时效性评估方法，以及常见数据问题处理

在保险精算建模中，数据质量直接决定模型效果的可靠性与业务决策的有效性。本章聚焦于数据质量的四个核心维度——完整性、准确性、一致性与时效性，系统阐述评估方法及常见问题的处理策略。

3.1 数据质量四维评估框架

精算数据质量评估需覆盖从数据采集、清洗到建模的全生命周期。下表总结了四个维度的定义、典型评估指标与常用方法：

3.2 数据完整性评估方法

完整性评估的核心是识别缺失数据并量化其影响。常见方法包括：

• 字段级缺失率统计： 计算每个字段的空值占比，设定阈值（如 >5% 需重点关注）。
• 记录级完整率检查： 对关键字段（如保单号、出险日期、赔付金额）进行联合非空校验。
• 业务规则完整性校验： 例如，理赔记录必须包含“出险日期”与“结案日期”，且结案日期不早于出险日期。

# 示例：Python 中计算字段缺失率
import pandas as pd

def check_completeness(df, threshold=0.05):
    missing_ratio = df.isnull().mean()
    flagged = missing_ratio[missing_ratio > threshold]
    return flagged

# 假设 df 为精算数据集
flagged_fields = check_completeness(df)
print("缺失率超标的字段：\n", flagged_fields)

3.3 数据准确性评估方法

准确性评估旨在发现数据中的异常值、错误记录与逻辑矛盾。常用方法包括：

• 统计分布检验： 使用 Z-score、IQR（四分位距）或箱线图识别离群点。
• 业务规则验证： 例如，赔付金额不能为负数，年龄字段应在 0~120 之间。
• 交叉比对： 将精算数据与核心系统（如保单系统、财务系统）进行逐字段比对。

3.4 数据一致性评估方法

一致性评估关注跨数据源、跨字段间的逻辑协调性。评估要点包括：

• 跨表关联一致性： 例如，保单表中的“保单号”在理赔表中必须存在对应记录，且关联字段无悬空值。
• 编码统一性： 检查同一业务含义的编码是否在不同系统中使用相同标准（如性别编码“M/F” vs “1/0”）。
• 逻辑冲突检测： 例如，理赔金额不能超过保单保额，结案日期不能早于立案日期。

以下 SVG 图展示了数据一致性评估的典型流程与关键校验节点：

3.5 数据时效性评估方法

时效性评估确保数据在建模时仍处于有效时间窗口。评估方法包括：

• 数据延迟监控： 记录数据从业务发生到进入数据仓库的时间差（如 T+1、T+2）。
• 时间戳覆盖率检查： 确保每条记录包含有效的时间戳字段，且时间戳在合理范围内。
• 更新频率达标率： 对比实际更新频率与 SLA（服务等级协议）要求，计算达标比例。

3.6 常见数据问题及处理策略

在实际精算项目中，数据质量问题往往以组合形式出现。下表总结了六类常见问题及其处理策略：

3.7 数据质量评估报告与持续监控

数据质量评估不是一次性活动，而应嵌入精算建模的持续流程。建议构建以下监控体系：

• 每日质量仪表盘： 展示四个维度的关键指标，支持钻取到具体字段或记录。
• 质量阈值告警： 当完整性、准确性等指标低于预设阈值时，自动触发告警通知。
• 定期质量审计： 每月或每季度生成数据质量报告，纳入模型版本管理。

以下 SVG 图展示了数据质量持续监控的闭环架构：

3.8 小结