3. Challenger模型概览：什么是Challenger模型、与传统模型的区别、常见Challenger模型类型

在非寿险定价领域，Challenger模型并非指代某个特定的算法，而是一类能够挑战并替代传统广义线性模型（GLM）的机器学习模型的总称。其核心目标是：在保持模型可解释性的前提下，显著提升对复杂风险模式的拟合能力与预测精度。

3.1 什么是Challenger模型

Challenger模型通常具备以下三个特征：

• 高预测精度：能够自动捕捉特征间的非线性关系和高阶交互，弥补GLM在手工特征工程上的局限。
• 结构化兼容：输出结果可以嵌入到传统的保费定价引擎中，支持费率因子表或评分卡形式。
• 可解释性增强：通过SHAP、LIME、部分依赖图等工具，使“黑箱”模型在监管和业务层面具备可审计性。

3.2 与传统模型（GLM）的核心区别

下表从建模假设、特征工程、交互处理、可解释性等维度，对比Challenger模型与传统GLM的差异：

3.3 常见Challenger模型类型

目前业界主流的Challenger模型主要分为三大流派：梯度提升树（GBDT）家族、极端梯度提升（XGBoost）、轻量梯度提升机（LightGBM）以及神经网络（NN）。下图展示了它们在保费定价中的定位与关系：

3.4 各模型核心原理速览

以下从算法本质和定价适用性两个角度，快速梳理四种Challenger模型：

3.4.1 GBDT（梯度提升决策树）

• 原理：以CART回归树为基学习器，每棵树拟合前一轮残差的负梯度方向，逐步降低整体损失。
• 定价优势：天然处理数值型与类别型混合特征，对缺失值有一定鲁棒性。
• 局限：串行训练，数据量大时训练速度较慢；对异常点敏感。

3.4.2 XGBoost（极端梯度提升）

• 原理：在GBDT基础上引入二阶泰勒展开近似损失函数，并加入L1/L2正则化项，防止过拟合。
• 定价优势：支持自定义损失函数（如Tweedie分布），可直接优化纯保费；内置列抽样与早停机制。
• 局限：超参数较多，调参成本高；对高维稀疏特征内存占用较大。

3.4.3 LightGBM（轻量梯度提升机）

• 原理：采用直方图算法加速分裂点搜索，结合GOSS（梯度单边采样）和EFB（互斥特征捆绑）大幅降低计算量。
• 定价优势：训练速度极快，适合大规模保单数据；支持类别特征直接输入，无需独热编码。
• 局限：叶子节点分裂策略容易过拟合，需控制树深度与叶子节点数。

3.4.4 神经网络（NN）

• 原理：通过多层全连接或嵌入层，自动学习特征的低维表示与非线性组合。
• 定价优势：对高基数类别特征（如邮政编码、车型编码）有强大的嵌入表达能力；可构建端到端的定价模型。
• 局限：需要大量训练数据；可解释性较差，需配合SHAP等工具使用；训练周期较长。

3.5 模型选择决策流程

下图展示了在保费定价项目中，如何根据数据特征与业务需求快速筛选Challenger模型：

3.6 小结：Challenger模型在定价中的定位

Challenger模型并非要完全替代GLM，而是在以下场景中发挥关键作用：

• 高维交互场景：如车险中“年龄 × 车型 × 行驶区域”的复杂风险组合。
• 非平衡数据：如健康险中高频低损与低频高损的混合分布。
• 动态定价：需要实时更新模型以响应市场变化。
• 费率精细化：在GLM基准上，通过Challenger模型挖掘未被定价的风险因子。