2. GLM基础回顾
在费率厘定与暴露量建模中,广义线性模型(Generalized Linear Model,GLM)几乎是绕不开的基础工具。它之所以重要,不是因为它“高级”,而是因为它把保险数据中常见的三个现实问题统一进了一个可解释、可估计、可检验的框架:第一,响应变量往往不是正态分布,例如索赔次数是计数、是否出险是0/1、案均赔款是右偏连续;第二,均值与方差通常不独立,方差会随均值变化;第三,业务希望用线性可加的方式解释因子影响,但又不能破坏预测值的合理范围。GLM正是为解决这些问题而设计的。
一、GLM的三块基石:随机成分、系统成分与连接函数
一个GLM由三部分构成。随机成分指定响应变量的分布,且该分布属于指数族分布;系统成分是线性预测子,即解释变量的线性组合;连接函数则把线性预测子与响应变量的条件均值连接起来。三者缺一不可,共同决定了模型的形式与解释方式。
设第 i 个观测的响应为 Yi,解释变量向量为 xi,回归系数为 β,则线性预测子为:
η_i = x_i^T β = β_0 + β_1 x_{i1} + ... + β_p x_{ip}
连接函数 g(·) 满足:
g(μ_i) = η_i
μ_i = E(Y_i | x_i) = g^{-1}(η_i)
这里的关键在于:线性结构作用在连接后的均值上,而不是直接作用在均值上。这正是GLM既能保持线性可加解释,又能保证预测值落在合理范围内的原因。
一句话理解GLM:随机成分回答“数据像什么分布”,系统成分回答“因子如何线性组合”,连接函数回答“线性组合如何映射到均值”。
二、指数族分布:为什么它决定了GLM的估计与方差
指数族分布是GLM的分布基础。常见形式可写为:
f(y; θ, φ) = exp{ [yθ - b(θ)] / a(φ) + c(y, φ) }
其中 θ 是自然参数,φ 是离散参数。指数族的一个重要性质是:均值与方差都可以由 b(θ) 导出。具体地,μ = b'(θ),Var(Y) = b''(θ) a(φ)。这意味着,一旦选定分布,均值与方差之间的关系也就被确定下来。
在保险精算中,最常用的指数族分布包括:
| 分布 | 典型响应变量 | 均值—方差关系 | 常用连接函数 |
|---|---|---|---|
| 正态分布 | 连续、近似对称的损失额 | 方差恒定 | 恒等连接 |
| 泊松分布 | 索赔次数、出险频数 | 方差等于均值 | 对数连接 |
| 伽马分布 | 案均赔款、右偏连续金额 | 方差随均值平方变化 | 对数连接 |
| 二项分布 | 是否出险、续保与否 | 方差由均值决定 | logit连接 |
| 负二项分布 | 过离散计数数据 | 方差大于均值 | 对数连接 |
这张表在实战中非常关键。因为选择分布,本质上是在选择方差假设。如果索赔次数存在过离散,却强行使用泊松分布,标准误会被低估,显著性检验容易过于乐观。此时负二项分布或准泊松方法更合适。
三、连接函数:从线性预测子到业务均值
连接函数的作用不是装饰,而是决定模型的可加性与预测范围。以费率约束场景为例,若响应是索赔频率,均值必须为正,因此不能直接用恒等连接,否则线性预测子可能给出负频率。对数连接可以保证:
μ_i = exp(η_i) > 0
若响应是出险概率,均值必须在0到1之间,logit连接可以保证:
μ_i = 1 / (1 + exp(-η_i)) ∈ (0, 1)
连接函数还影响系数解释。对数连接下,系数 βj 表示解释变量每增加一个单位,均值变为原来的 exp(βj) 倍;logit连接下,系数表示对数几率的变化。理解这一点,才能把模型输出翻译成业务语言。
四、模型假设与常见误区复盘
GLM的经典假设包括:观测之间相互独立;响应变量服从指定指数族分布;连接函数正确;线性预测子形式正确;解释变量不存在严重共线性;离散参数在需要时被合理估计。实际建模中,最容易出问题的往往不是代码,而是假设与业务场景不匹配。
- 误区一:把GLM当黑箱。 只关心AIC或显著性,不检查分布假设与残差结构,导致预测在尾部或大额段失真。
- 误区二:忽略暴露量。 索赔次数建模中,若不同保单暴露期不同,必须引入偏移项
offset(log(exposure)),否则频率估计会被暴露量差异污染。 - 误区三:过离散被忽视。 泊松回归中若残差偏差远大于自由度,说明存在过离散,应考虑负二项或准泊松。
- 误区四:连接函数与业务约束脱节。 例如费率约束要求某些因子单调或平滑,而基础GLM并不自动满足,需要在后续章节中通过约束、样条或惩罚方法处理。
复盘建议:每次建模后至少检查四项——分布与方差假设、连接函数是否合理、是否存在过离散、暴露量是否已正确进入模型。这四项比盲目增加变量更重要。
注意:GLM的“线性”指的是线性预测子对系数线性,不是对原始变量线性。通过变量变换、样条基或交互项,GLM仍可表达非线性效应,但解释时要回到连接函数后的尺度。
回到本课程主线,GLM基础回顾的意义在于:后续讨论暴露量、非线性与费率约束时,所有方法都建立在这套结构之上。暴露量决定偏移项与风险单位;非线性决定线性预测子如何扩展;费率约束则决定系数估计与预测输出如何满足业务规则。只有把随机成分、系统成分和连接函数三者的关系理清,后面的实战才不会变成调参技巧的堆砌。