4. 坏样本定义与标签构建
在精算建模中,坏样本(Bad Sample)的准确定义直接决定模型区分度与定价公平性。本章从行业惯例、业务规则与统计方法三个层次,系统讲解如何为车险/健康险等险种构建可靠的坏样本标签。
4.1 坏样本的行业标准
不同险种对“坏”的界定存在差异,但精算实务中通常以赔付率(Loss Ratio, LR)作为核心度量指标。赔付率计算公式为:
赔付率 = 已发生赔付 / 已赚保费 × 100%
行业通用阈值如下表所示:
| 险种 | 坏样本阈值(赔付率) | 说明 |
|---|---|---|
| 车险(商业险) | > 80% | 超过该值通常意味着承保亏损 |
| 车险(交强险) | > 85% | 法定业务,容忍度略高 |
| 健康险(住院医疗) | > 75% | 医疗成本波动大,阈值偏严 |
| 意外险 | > 70% | 低频高损,需更保守 |
| 财产险(企财险) | > 90% | 大额赔案集中,阈值较高 |
实务提示:行业标准仅作为初始参考。实际建模时,建议结合公司自身的历史赔付分布与承保利润目标,对阈值进行校准。例如,某车险业务组合的赔付率中位数为65%,则80%可能过于宽松,可下调至75%。
4.2 基于业务规则的标签生成
业务规则法是最直接、可解释性最强的标签构建方式。精算师根据理赔经验与承保政策,定义一组显式规则来标记坏样本。常见规则包括:
- 赔付率规则:保单年度赔付率 > 80% 标记为坏样本。
- 出险次数规则:保单年度内出险次数 ≥ 3 次,无论赔付金额大小,均视为高风险。
- 大额赔案规则:单次赔案金额 > 保额 × 50% 或 > 固定金额阈值(如10万元)。
- 连续亏损规则:连续两年赔付率 > 70% 的保单。
- 欺诈标记规则:反欺诈系统标记为“高欺诈嫌疑”的赔案。
以下是一个基于Python的规则引擎示例:
def label_bad_sample(policy):
"""
基于业务规则标记坏样本
返回: 1=坏样本, 0=好样本
"""
# 规则1: 赔付率 > 80%
if policy.loss_ratio > 0.80:
return 1
# 规则2: 出险次数 >= 3
if policy.claim_count >= 3:
return 1
# 规则3: 单次最大赔案 > 保额50%
if policy.max_claim_amount > policy.sum_insured * 0.5:
return 1
# 规则4: 连续两年亏损
if policy.loss_ratio_last_year > 0.70 and policy.loss_ratio_current > 0.70:
return 1
return 0
注意:业务规则法虽然直观,但容易产生“规则冲突”或“规则覆盖不足”的问题。例如,一个赔付率78%但出险4次的保单,按规则1为好样本,按规则2为坏样本。建议为规则设置优先级,或采用“或”逻辑(任一规则触发即标记)。
4.3 基于统计分位数的动态阈值设定
固定阈值无法适应不同业务线、不同时期的赔付分布变化。统计分位数法通过数据驱动的方式,动态确定坏样本边界,更具鲁棒性。
常用方法包括:
- 分位数截断法:选取赔付率分布的80%或90%分位数作为阈值。例如,计算所有保单赔付率的90%分位值,超过该值的保单标记为坏样本。
- 箱线图法(IQR):定义上界为 Q3 + 1.5×IQR,超过上界的视为极端坏样本。
- 混合模型法:假设赔付率服从Gamma分布或对数正态分布,通过EM算法拟合两个成分(好/坏),后验概率 > 0.5 的归为坏样本。
下表对比了三种动态阈值方法的适用场景:
| 方法 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| 分位数截断法 | 简单、计算快、可解释 | 分位数选择主观 | 初步探索、快速建模 |
| 箱线图法(IQR) | 自动识别离群点 | 对偏态分布不稳健 | 赔付率近似对称分布时 |
| 混合模型法 | 概率化、自适应 | 计算复杂、需调参 | 高精度建模、业务稳定期 |
推荐实践:在项目初期使用分位数截断法(如90%分位)快速生成标签;在模型迭代阶段,切换到混合模型法,利用EM算法自动学习好/坏样本的分布参数,提升标签的统计合理性。
4.4 坏样本标签构建流程总览
以下SVG图展示了从原始保单数据到最终坏样本标签的完整构建流程,涵盖行业标准、业务规则与统计方法三条路径的融合:
4.5 标签质量评估与迭代
构建完坏样本标签后,必须进行质量评估,避免标签偏差影响模型效果。常用评估指标包括:
- 坏样本占比:通常控制在5%~20%之间,过低会导致模型欠采样,过高会扭曲风险区分。
- 标签稳定性:按月/季度计算坏样本比例,观察是否存在季节性波动或趋势漂移。
- 业务一致性:随机抽取100个坏样本,由核保专家复核,计算人工复核一致率(应 > 85%)。
- 区分度验证:使用单变量分析,检查坏样本与好样本在关键风险因子(如年龄、车价、NCD系数)上的分布差异是否显著。
迭代建议:标签不是一次性工作。建议每季度根据最新赔付数据重新计算分位数阈值,并更新业务规则(如新增欺诈规则、调整大额赔案阈值)。同时,将标签版本号记录在元数据中,便于模型回溯。