3. 模型偏差来源
在保险定价中,模型偏差往往不是单一原因造成的,而是数据、样本、变量、测量与建模假设共同作用的结果。精算师如果只关注拟合优度,很容易把系统性偏差误判为随机波动。本节的目标是建立一套“偏差来源识别框架”,让你在建模前、中、后三个阶段都能定位问题。
核心原理:模型偏差 = 真实风险规律与模型输出之间的系统性偏离。它不等于方差,也不等于过拟合。偏差通常来自“进入模型的信息”和“模型处理信息的方式”两个层面。
一、六类偏差的识别框架
我们可以把六类偏差分为三组:数据层(数据偏差、测量误差)、样本层(选择偏差、幸存者偏差)、建模层(遗漏变量偏差、模型设定偏差)。识别时先判断偏差发生在哪一层,再选择对应的诊断工具。
二、方法流程:从诊断到修正
识别偏差需要一套可重复的流程,而不是凭经验猜测。建议按以下五步执行:
- 数据审计:检查缺失率、异常值、字段口径变化。对关键变量做分布对比(训练集 vs 验证集 vs 全量)。
- 样本代表性检验:对比承保样本与目标市场的年龄、地区、渠道分布,判断是否存在选择偏差或幸存者偏差。
- 变量完整性审查:列出业务上已知的重要风险因子,检查是否全部入模;对未入模变量做残差相关性分析。
- 模型设定诊断:检查连接函数、交互项、非线性项是否合理;用残差图、Lorenz曲线、校准曲线判断系统性偏离。
- 校准与回溯:在独立时间段或独立渠道上做校准验证,观察偏差是否稳定。
实用技巧:对每个候选模型,同时输出“训练集校准曲线”和“验证集校准曲线”。如果两条曲线在某个保费区间明显分离,通常说明该区间存在选择偏差或模型设定偏差。
三、案例场景:车险定价中的偏差识别
某车险公司发现,新模型在高端车型上的赔付率预测明显偏低。经过排查,发现三个问题叠加:
- 选择偏差:高端车客户更多通过代理人渠道承保,而训练数据中代理人渠道样本占比不足。
- 遗漏变量偏差:模型未纳入“车辆安全配置”变量,而该变量与高端车型高度相关。
- 测量误差:“年行驶里程”字段在部分渠道为估算值,导致该变量信息失真。
修正策略:对渠道进行分层建模或加入渠道交互项;补充安全配置变量;对里程字段做数据质量标记,并在模型中引入缺失指示变量。修正后,高端车型的校准偏差从-18%缩小到-4%以内。
四、常见误区与复盘清单
| 误区 | 表现 | 纠正方法 |
|---|---|---|
| 只看整体拟合优度 | R²或AUC高,但分段校准差 | 分渠道、分车型、分地区做校准曲线 |
| 把选择偏差当随机误差 | 验证集偏差持续存在 | 回溯承保规则,做样本代表性检验 |
| 忽略幸存者偏差 | 续保样本表现好,新客偏差大 | 分别建模新客与续保,或加入保单年龄变量 |
| 测量误差未处理 | 关键变量系数不稳定 | 引入缺失指示、误差修正或工具变量 |
| 模型设定过于简单 | 残差呈现明显规律 | 尝试GAM、样条、交互项或分箱 |
复盘提醒:偏差识别不是一次性工作。每次模型上线后,都应建立“偏差监控看板”,持续跟踪各维度的实际赔付率与预测值之比。一旦发现某维度持续偏离,立即启动偏差来源排查。
掌握这六类偏差的识别方法,是后续稳定性与校准实战的基础。只有在建模前就建立偏差意识,才能避免“模型越复杂、偏差越隐蔽”的陷阱。