3. 坏样本定义：什么是坏样本？坏样本在精算模型中的分类
在精算模型验证与坏样本归因的实践中，“坏样本”并非指数据本身存在道德或法律问题，而是指那些在建模、拟合或预测过程中，显著偏离模型预期、破坏模型稳定性或导致参数估计失真的数据点或数据片段。坏样本是精算模型失效的“第一因”，其准确定义与分类是后续归因分析的基础。
3.1 坏样本的精算定义
从精算科学视角，坏样本可定义为：在给定模型假设与风险暴露下，观测值与模型预测值之间的残差超出合理置信区间，且该偏差无法由随机波动或已知风险因子解释的数据记录。坏样本通常具备以下三个特征：
- 异常性：单个或多个维度上的数值显著偏离同类风险群体的统计分布。
- 破坏性：对模型参数估计、损失分布拟合或准备金计算产生不成比例的影响。
- 不可重复性：在相同风险暴露条件下，该样本的出现概率极低或违背精算假设。
精算实务提示： 坏样本的判定必须结合业务场景。例如，一个年赔付额100万的保单在车险中可能是坏样本，但在高端健康险或再保险中可能属于正常尾部风险。坏样本定义始终是“模型+业务”双驱动的结果。
3.2 坏样本在精算模型中的三大分类
根据坏样本的产生机制与数据特征，精算模型中的坏样本主要分为以下三类。下表从定义、典型场景、检测方法三个维度进行对比：
| 分类 | 定义 | 典型精算场景 | 常用检测方法 |
|---|---|---|---|
| 异常值 | 单个数据点的数值显著偏离其所在风险分组的统计分布，通常由极端风险事件或个体异质性引起。 | 单一巨额赔案、极端长寿个体、罕见巨灾损失 | Z-Score、IQR规则、DBSCAN、孤立森林 |
| 结构性断点 | 数据在某个时间点或业务节点上，生成机制发生不可逆变化，导致前后数据分布不一致。 | 监管政策变更、产品条款调整、核保规则收紧 | Chow检验、CUSUM、贝叶斯断点检测 |
| 数据录入错误 | 由于人工录入、系统接口或数据迁移导致的记录失真，包括格式错误、逻辑矛盾、重复记录等。 | 年龄为负数、赔付金额含特殊字符、保单生效日早于出生日 | 规则引擎、字段约束校验、重复性检测 |
3.3 三类坏样本的详细解析
3.3.1 异常值（Outliers）
异常值是精算模型中最常见的坏样本类型。在损失分布拟合、死亡率建模或准备金评估中，单个异常值可能显著拉高尾部参数估计。异常值又可分为：
- 全局异常值：在整个数据集中显著偏离整体分布，如一个年赔付5000万的保单在车险组合中。
- 局部异常值：在特定风险分组或时间窗口内偏离，如某年龄段的死亡率突然飙升。
- 集体异常值：一组数据点共同偏离，但单个点并不异常，如某地区所有保单的赔付率系统性偏高。
3.3.2 结构性断点（Structural Breaks）
结构性断点反映的是数据生成过程的突变。在精算时间序列模型（如索赔频率趋势、退保率预测）中，断点会导致模型外推失效。常见诱因包括：
- 监管与法律变化：如车险费率市场化改革、重疾险新定义实施。
- 业务策略调整：核保标准从宽松转为严格、产品责任范围变更。
- 外部环境冲击：疫情导致医疗险赔付结构突变、自然灾害改变巨灾模型参数。
归因陷阱警示： 结构性断点常被误判为异常值。若将断点后的数据直接剔除，会导致模型丧失对新环境的适应性；若将断点前的数据与断点后数据混用拟合，则参数估计产生系统性偏差。正确的做法是先检测断点位置，再分段建模或引入哑变量。
3.3.3 数据录入错误（Data Entry Errors）
数据录入错误是精算实务中最“低级”但最隐蔽的坏样本。这类错误通常不反映真实风险，而是数据质量问题的直接体现。常见模式包括：
- 字段格式错误：日期字段出现“2025-02-30”、金额字段包含字母。
- 逻辑矛盾：死亡日期早于出生日期、赔付金额大于保额。
- 重复记录：同一理赔案件被录入多次，导致赔付金额虚增。
- 单位错误：保额单位从“万元”误录为“元”，导致数值放大10000倍。
3.4 坏样本分类关系与归因路径
以下SVG图展示了三类坏样本在精算模型验证中的关系结构，以及从检测到归因的典型路径：
3.5 三类坏样本的检测方法对比
下表汇总了针对三类坏样本的常用检测方法及其适用场景，帮助精算分析师快速选择检测策略：
| 检测方法 | 适用坏样本类型 | 核心原理 | 精算应用场景 | 注意事项 |
|---|---|---|---|---|
| Z-Score / IQR规则 | 异常值 | 基于均值和标准差或四分位距判断偏离程度 | 赔付金额、保额、理赔次数的单变量检测 | 对偏态分布敏感，建议先做对数变换 |
| 孤立森林 | 异常值 | 通过随机切割特征空间，异常点更容易被孤立 | 高维风险特征（年龄+保额+地区+险种）的联合异常检测 | 需要调参，对局部异常值检测效果较好 |
| Chow检验 | 结构性断点 | 比较分段回归与整体回归的残差平方和差异 | 费率趋势、退保率时间序列的断点检测 | 需要预先指定断点候选位置 |
| CUSUM | 结构性断点 | 累积残差偏离零的累积和，超过阈值则判定断点 | 在线监测索赔频率的实时变化 | 对微小偏移敏感，需设定合理阈值 |
| 规则引擎 | 数据录入错误 | 预定义字段约束、逻辑校验、格式正则 | 保单录入系统、理赔数据入库前的实时校验 | 规则覆盖度决定检测效果，需持续维护 |
| 重复性检测 | 数据录入错误 | 基于关键字段（保单号+出险日期+赔付金额）的精确/模糊匹配 | 理赔数据去重、保单重复录入检测 | 需定义匹配阈值，防止误判 |
3.6 坏样本归因的初始判断流程
在实际精算模型验证中，当发现一个疑似坏样本时，建议按以下流程进行初始归因判断：
- 第一步：数据溯源 —— 检查该样本的原始数据源、录入时间、操作人员，排除明显的数据录入错误。
- 第二步：业务背景核实 —— 联系业务部门确认该样本对应的保单或理赔是否存在特殊背景（如大额保单、特殊协议）。
- 第三步：时间序列分析 —— 将该样本置于时间序列中，观察其前后数据分布是否一致，判断是否存在结构性断点。
- 第四步：统计分布检验 —— 使用Z-Score、IQR或孤立森林等方法，量化该样本的异常程度。
- 第五步：影响评估 —— 计算剔除该样本后模型参数的变化幅度，评估其对准备金、费率或偿付能力的影响。
最佳实践： 建议在精算建模流程中建立“坏样本日志”，记录每个疑似坏样本的检测方法、归因结论、处理方式及影响评估结果。这不仅有助于模型验证，也为后续模型审计和监管合规提供可追溯的证据链。