2. 坏样本定义与识别
在保险精算风险暴露归因中，坏样本并非简单的“错误数据”，而是指那些在统计分布、业务逻辑或精算假设上显著偏离正常模式的样本点。准确识别坏样本是后续归因与建模的基础，直接决定风险暴露评估的可靠性。
2.1 坏样本的统计学定义
从统计学视角，坏样本可定义为：在给定分布假设下，出现概率极低（通常 P < 0.01）或对模型参数估计产生不成比例影响的观测值。常用判别标准包括：
| 判别维度 | 定义 | 常用阈值 |
|---|---|---|
| Z-score 法 | 偏离均值超过 k 倍标准差 | |Z| > 3 |
| 四分位距法 | 超出 Q1-1.5×IQR 或 Q3+1.5×IQR | IQR 外 1.5 倍 |
| 马氏距离法 | 多维空间中与中心点的距离 | χ²(0.99) 分位数 |
| Cook's D | 删除该点后回归系数的变化量 | D > 4/n |
精算提示： 在损失分布建模中，Z-score 法对厚尾分布（如 Pareto、LogNormal 高方差）容易漏判极端损失；建议优先使用马氏距离或基于分位数的稳健方法。
2.2 精算中的坏样本类型
结合保险业务场景，坏样本可归纳为以下四类核心类型：
- 录入型坏样本： 字段值超出合理范围（如年龄 200 岁、保额为负值）、关键字段缺失、日期逻辑矛盾（出险日期早于投保日期）。
- 分布型坏样本： 单变量极端值（如单笔车险理赔 500 万元）、多变量组合异常（低保额高赔付率、短保险期限高理赔频次）。
- 业务型坏样本： 违反精算假设（如寿险中逆选择样本、健康险中带病投保未告知）、费率不足的保单、再保合约边界外的风险暴露。
- 结构性坏样本： 数据源变更导致的断点、聚合粒度不一致、时间序列中的结构性突变（如新监管政策生效后的理赔模式骤变）。
2.3 坏样本识别方法
识别坏样本需要结合统计方法与业务规则，形成多层级过滤体系。以下为精算实践中常用的识别流程：
- 规则引擎初筛： 基于业务逻辑建立硬约束规则（如年龄 0~120 岁、保额 > 0、日期合规），快速剔除明显异常。
- 单变量统计检测： 对每个风险暴露字段计算 Z-score、IQR 或 MAD（中位数绝对偏差），标记极端值。
- 多变量异常检测： 使用马氏距离、孤立森林或局部异常因子（LOF）识别组合异常。
- 模型残差分析： 在 GLM 或 GBM 模型中，检查标准化残差绝对值 > 3 的样本点。
- 业务专家复核： 对统计标记的候选坏样本，由精算师结合承保、理赔背景做最终判定。
关键指标： 坏样本识别率 = 正确识别的坏样本数 / 实际坏样本总数；误判率 = 被误判为好样本的坏样本数 / 总样本数。精算项目中通常要求识别率 > 85%，误判率 < 5%。
常见陷阱： 不要将“高赔付率”样本直接标记为坏样本。高赔付率可能是真实风险暴露，也可能是数据录入错误。必须结合业务背景与统计证据综合判断，避免将正常的高风险样本错误剔除。
2.4 坏样本标签体系
为便于后续归因分析，建议对识别出的坏样本建立统一的标签体系：
| 标签类别 | 标签代码 | 说明 | 处理建议 |
|---|---|---|---|
| 录入错误 | ERR_INPUT | 字段值明显不合理 | 修正或删除 |
| 极端损失 | EXT_LOSS | 损失金额超过 99.9% 分位数 | 保留但标记，单独建模 |
| 逆选择嫌疑 | ADV_SEL | 投保行为与风险不对称 | 提交核保复核 |
| 结构断点 | STR_BREAK | 时间序列或聚合层级突变 | 分段建模或剔除 |
| 模型异常 | MOD_OUT | 标准化残差 > 3 | 检查特征工程 |
通过上述定义与识别方法，精算团队能够系统性地定位风险暴露数据中的异常样本，为后续的归因分析提供干净、可靠的数据基础。