3. 数据质量对命中率的影响：缺失值处理、异常值检测、数据标准化与归一化、数据质量评估框架

在精算模型的实际落地中，数据质量是决定规则命中率能否稳定提升的基石。脏数据、缺失值、异常点以及量纲不一致，都会直接扭曲模型对风险特征的识别，导致规则命中率虚高或虚低。本章从四个核心维度展开：缺失值处理、异常值检测、数据标准化与归一化，以及一套可落地的数据质量评估框架。

3.1 缺失值处理：从“丢弃”到“智能填充”

缺失值在精算数据中极为常见（如保单部分字段未填写、理赔记录不完整）。处理不当会导致样本偏差，进而影响规则命中率的稳定性。

3.2 异常值检测：识别“噪声”还是“信号”

异常值在精算中可能是录入错误（如年龄 999 岁），也可能是真实极端风险（如超高保额理赔）。错误剔除会降低规则命中率，保留则可能污染模型。

常用检测方法对比

3.3 数据标准化与归一化：消除量纲，提升规则一致性

精算模型中常混合使用年龄（0-100）、保额（万级）、理赔次数（0-10）等不同量纲特征。若不处理，高量纲特征会主导距离计算或树模型分裂，导致规则命中率偏向某一维度。

核心方法

# Python 示例：Min-Max 归一化与 Z-Score 标准化
from sklearn.preprocessing import MinMaxScaler, StandardScaler
import numpy as np

# 模拟精算数据：年龄、保额、理赔次数
data = np.array([[45, 500000, 2],
                 [30, 200000, 0],
                 [55, 800000, 5]])

# Min-Max 归一化
scaler_minmax = MinMaxScaler()
data_minmax = scaler_minmax.fit_transform(data)
print("Min-Max 归一化结果:\n", data_minmax)

# Z-Score 标准化
scaler_std = StandardScaler()
data_std = scaler_std.fit_transform(data)
print("Z-Score 标准化结果:\n", data_std)

3.4 数据质量评估框架：从单维度到多维度监控

为了持续保障规则命中率，需要建立一套可量化的数据质量评估框架。以下是一个适用于精算场景的六维评估体系。

各维度评估指标示例