📚 课程目录第3章数据质量监控基础

3. 数据质量监控基础：数据完整性检查、缺失值模式分析、异常值检测、数据源一致性校验

数据质量是精算模型漂移监控的基石。在保险精算领域，无论是准备金评估、定价模型还是风险聚合，输入数据的质量直接决定模型输出的可信度。本章聚焦于数据质量监控的四个核心维度：完整性、缺失值模式、异常值以及数据源一致性。通过系统化的检查流程，我们能够在模型漂移发生之前，识别并纠正数据层面的隐患。

3.1 数据完整性检查

数据完整性检查旨在确认数据集是否满足预定义的记录完整性与字段完整性要求。在精算数据管道中，常见的完整性检查包括：

记录数完整性：对比源系统与目标表的记录数，确保无遗漏或重复加载。
主键唯一性：检查保单号、交易流水号等关键标识是否唯一，无重复键。
字段非空约束：对必填字段（如生效日期、保费金额、险种代码）进行空值检查。
引用完整性：外键字段（如代理人代码、再保合约编号）必须在主表中存在对应记录。

    精算实践提示：在月度准备金结转流程中，若保单主表的记录数较上月减少超过 0.5%，应触发告警并核查数据抽取逻辑是否遗漏了续期保单。

3.2 缺失值模式分析

缺失值并非随机出现，其背后往往隐藏着数据采集流程的断裂或业务规则的变更。精算师需要区分三种缺失机制：

缺失机制	定义	精算示例	处理建议
完全随机缺失 (MCAR)	缺失与观测数据及未观测数据均无关	因系统临时故障导致部分理赔金额字段缺失	可直接删除或使用均值填补
随机缺失 (MAR)	缺失依赖于其他已观测变量	高年龄段保单的“健康告知”字段缺失率更高	使用回归或多重插补法
非随机缺失 (MNAR)	缺失依赖于未观测到的变量本身	高额理赔案件的“调查结论”字段被刻意留空	需引入外部信息或构建选择模型

通过构建缺失值热力图或模式表，可以快速识别哪些字段组合经常同时缺失，从而定位数据采集流程中的断点。

3.3 异常值检测

异常值检测是识别数据中与大多数观测值显著偏离的样本点。在精算数据中，异常值可能源于录入错误、系统转换故障或真实的极端风险事件。常用的检测方法包括：

Z-Score 方法：适用于近似正态分布的连续变量（如保费金额），通常以 |Z| > 3 作为异常阈值。
IQR 四分位距法：适用于偏态分布（如理赔金额），定义异常为低于 Q1 - 1.5×IQR 或高于 Q3 + 1.5×IQR。
孤立森林 (Isolation Forest)：适用于高维数据，通过随机切割特征空间来隔离异常点。
业务规则阈值：基于精算经验设定硬性边界，如“单笔理赔金额不得超过保额的 120%”。

注意：不要机械地删除所有异常值。在巨灾模型或长尾责任险中，极端值往往包含重要的风险信息。建议将异常值标记后，交由精算团队进行人工复核。

3.4 数据源一致性校验

当精算模型从多个源系统（如核心业务系统、财务系统、再保系统）获取数据时，不同系统对同一业务实体的定义、编码和计量单位可能存在差异。一致性校验是确保跨系统数据对齐的关键步骤。

校验清单通常包括：

编码一致性：检查各系统中“险种代码”、“渠道代码”等字典表是否完全映射。
金额汇总一致性：对比核心系统与财务系统的“月度总保费”汇总值，差异应小于预设阈值（如 0.1%）。
时间戳一致性：确认各系统对“保单生效日期”、“理赔立案日期”的记录时区与精度一致。
关键指标交叉验证：如“已赚保费”在精算系统与财务系统中的计算口径是否一致。

3.5 自动化监控与告警阈值

为保障监控的持续性与时效性，建议将上述检查流程封装为自动化数据质量管道。以下是一个基于 Python 的伪代码示例，展示了如何对关键指标进行逐日校验：

import pandas as pd
import numpy as np

def run_data_quality_checks(df, config):
    """
    执行数据质量检查并返回告警列表
    config: 包含阈值、必填字段、主键等配置的字典
    """
    alerts = []

    # 1. 记录数完整性
    expected_count = config.get('expected_row_count')
    if expected_count and abs(len(df) - expected_count) / expected_count > 0.01:
        alerts.append(f"记录数偏差超过1%: 期望{expected_count}, 实际{len(df)}")

    # 2. 主键唯一性
    pk = config.get('primary_key')
    if pk and df[pk].duplicated().any():
        dup_count = df[pk].duplicated().sum()
        alerts.append(f"主键 {pk} 存在 {dup_count} 条重复记录")

    # 3. 必填字段空值检查
    required_fields = config.get('required_fields', [])
    for field in required_fields:
        null_pct = df[field].isnull().mean()
        if null_pct > config.get('null_threshold', 0.05):
            alerts.append(f"字段 {field} 缺失率 {null_pct:.2%} 超过阈值")

    # 4. 异常值检测 (IQR法)
    numeric_cols = config.get('numeric_columns', [])
    for col in numeric_cols:
        Q1 = df[col].quantile(0.25)
        Q3 = df[col].quantile(0.75)
        IQR = Q3 - Q1
        lower = Q1 - 1.5 * IQR
        upper = Q3 + 1.5 * IQR
        outlier_count = ((df[col] < lower) | (df[col] > upper)).sum()
        if outlier_count > 0:
            alerts.append(f"字段 {col} 检测到 {outlier_count} 个异常值")

    return alerts

最佳实践：告警阈值应随业务周期动态调整。例如，在开门红期间，保费金额的波动阈值可适当放宽；而在月末结算期，汇总一致性阈值应收紧至 0.05%。

3.6 数据质量报告与根因分析

每次监控周期结束后，应生成结构化的数据质量报告，包含以下要素：

总体评分：基于通过率加权的综合质量分数（0-100）。
趋势图：展示关键指标（如缺失率、异常率）在过去 30 天的变化趋势。
根因分析：对持续告警的指标，追溯至源系统的变更日志或数据接口的异常记录。
行动项：明确责任团队与修复截止日期。

通过将数据质量监控嵌入到精算模型的日常运营中，我们能够构建一道坚实的防线，确保模型漂移监控的输入数据始终可靠、可信。