4. GLM理论基础

在非寿险纯保费定价中,广义线性模型(GLM)之所以成为行业标准工具,核心在于它用一套统一的数学框架,同时解决了三个定价难题:响应变量的非正态性(如索赔次数、赔付金额)、均值与方差的内在关联(如方差随均值增大)、以及风险因子效应的可加性建模。理解GLM,必须从它的五个理论支柱入手:指数族分布、连接函数、线性预测子、极大似然估计、偏差与残差。

一、指数族分布:统一概率分布的骨架

指数族分布是GLM的分布假设基础。若随机变量 Y 的概率密度或概率质量函数可写成如下形式,则称其属于指数族:

f(y; θ, φ) = exp{ [y·θ - b(θ)] / a(φ) + c(y, φ) }

其中 θ 称为自然参数,φ 为离散参数,b(θ) 为累积量函数。这一形式的关键价值在于:均值与方差可由 b(θ) 的导数直接导出——E(Y) = b′(θ),Var(Y) = b″(θ)·a(φ)。这意味着只要选定分布,均值与方差的关系就被自动锁定,无需额外假设。

非寿险定价中最常用的三个指数族分布如下表所示:

分布典型应用方差函数 V(μ)连接函数
泊松分布索赔次数μ对数 log(μ)
伽马分布案均赔款μ²对数 log(μ)
逆高斯分布高偏态赔付μ³对数 log(μ)
正态分布对数赔付额1恒等 μ

方差函数 V(μ) 刻画了均值与方差的关系。泊松的方差等于均值,伽马的方差与均值平方成正比——这正是非寿险数据“越大的风险波动越大”的数学表达。

二、连接函数与线性预测子:搭建回归桥梁

GLM的核心结构由三部分组成:随机成分(指数族分布)、系统成分(线性预测子 η = Xβ)、以及连接二者的连接函数 g(·),满足 g(μ) = η。

连接函数的作用是将均值 μ 的取值范围映射到整个实数轴,使线性预测子 η = β₀ + β₁x₁ + … + βₚxₚ 可以自由取值。对数连接 g(μ) = log(μ) 是最常用的选择,因为它保证预测均值恒为正,且系数具有“乘性效应”的解释:exp(βⱼ) 表示因子 xⱼ 每增加一个单位,均值变为原来的 exp(βⱼ) 倍。

关键理解:连接函数不是随意选取的。对数连接下,GLM等价于对均值建模为风险因子的乘积形式,这与保险定价中“费率因子相乘”的业务逻辑天然吻合。

三、极大似然估计:参数求解的引擎

GLM的参数 β 通过极大化对数似然函数求解。对于独立观测样本,对数似然为:

ℓ(β) = Σᵢ [ yᵢ·θᵢ - b(θᵢ) ] / a(φ) + Σᵢ c(yᵢ, φ)

由于 θ 通过连接函数与 β 关联,似然函数通常没有解析解,需采用迭代加权最小二乘(IRLS)算法数值求解。IRLS的核心思想是:在每步迭代中,构造工作响应变量 zᵢ 和权重 wᵢ,然后执行加权最小二乘回归更新 β,直至收敛。

# R中拟合GLM的核心命令
model <- glm(claim_count ~ age + vehicle_type + region,
            family = poisson(link = "log"),
            data = policy_data)
summary(model)

输出中的系数估计、标准误、z值和p值,均基于似然函数的渐近正态性质。需要特别关注离散参数 φ 的估计:泊松分布假设 φ=1,若实际数据存在过离散(overdispersion),需改用准泊松或负二项模型。

四、偏差与残差:模型拟合的度量

偏差(Deviance)是GLM中衡量拟合优度的核心指标,定义为饱和模型与当前模型对数似然之差的二倍:

D = 2[ℓ(饱和模型) - ℓ(当前模型)]

偏差越小,拟合越好。在嵌套模型比较中,偏差之差近似服从卡方分布,可用于假设检验。残差则用于逐点诊断:

  • 偏差残差:每个观测对总偏差的贡献,符号反映预测偏高或偏低。
  • 皮尔逊残差:(yᵢ - μ̂ᵢ) / √V(μ̂ᵢ),直接衡量标准化偏差。
  • 工作残差:IRLS迭代中的中间量,用于诊断线性预测子的尺度。

实操建议:绘制偏差残差对拟合值的散点图,若呈现明显的漏斗形或曲线趋势,说明连接函数或方差函数选择不当。

五、模型假设与诊断:避免定价陷阱

GLM的有效性依赖若干假设,定价实务中最容易踩坑的有三类:

  1. 分布假设错误:用泊松拟合过离散的索赔次数,导致标准误被低估、显著性被高估。
  2. 连接函数不当:对恒为正的赔付额使用恒等连接,可能产生负的预测均值。
  3. 线性预测子设定偏差:连续变量(如车龄)直接线性放入模型,忽略非线性效应。

复盘要点:模型诊断不是一次性动作。每次增减变量、改变分布或连接函数后,都应重新检查残差图、偏差统计量和过离散参数。一个在统计上显著但残差结构异常的模型,在定价落地时往往带来系统性偏差。

GLM五要素关系图 指数族分布 泊松 / 伽马 / 逆高斯 确定均值-方差关系 连接函数 g(μ) log / identity / logit 映射均值到实数轴 线性预测子 η η = Xβ 风险因子的线性组合 极大似然估计(IRLS迭代) 最大化对数似然 → 求解 β 系数 偏差与残差诊断 偏差残差 / 皮尔逊残差 / 过离散检验 模型假设与诊断 分布 / 连接 / 线性预测子检验 反馈修正

掌握这五个理论支柱后,GLM就不再是黑箱。在后续的纯保费定价项目中,无论是选择分布、设定连接函数,还是诊断模型问题,都可以回到这套框架中寻找依据。理论的价值,最终体现在每一次系数解释和模型比较的决策中。