4. 机器学习与精算融合：为什么引入XGBoost、精算模型评价指标
传统精算定价模型（如广义线性模型 GLM）凭借其可解释性与监管合规性，在非寿险领域占据核心地位。然而，面对高维交互特征、非线性关系与大规模数据，GLM 的线性假设与手动特征工程逐渐成为瓶颈。XGBoost 的引入并非要取代精算模型，而是在保留精算框架的基础上，利用梯度提升树捕捉 GLM 无法拟合的残差模式，实现“精算结构 + 机器学习残差修正”的融合范式。
核心融合思想： 将 XGBoost 作为 GLM 的残差学习器，或直接使用 XGBoost 构建纯数据驱动的定价模型，再通过 SHAP 值、部分依赖图等工具反哺精算解释性。
4.1 为什么引入 XGBoost？——精算与机器学习的互补性
下表从建模假设、特征工程、交互效应、可解释性四个维度对比 GLM 与 XGBoost，明确引入 XGBoost 的动机：
| 对比维度 | GLM（传统精算） | XGBoost（机器学习） | 融合价值 |
|---|---|---|---|
| 建模假设 | 线性关系 + 指数族分布 | 无分布假设，树模型自动拟合非线性 | XGBoost 捕捉 GLM 残差中的非线性信号 |
| 特征工程 | 需手动构造交互项、分箱、样条 | 自动学习特征分裂点与交互 | 减少人工试错，提升特征利用效率 |
| 交互效应 | 需显式指定交互项，维度爆炸 | 树结构天然捕获高阶交互 | 发现 GLM 遗漏的复杂风险组合 |
| 可解释性 | 系数直接解读，监管友好 | 黑箱，需 SHAP/PDP 辅助 | GLM 提供基准解释，XGBoost 补充细节 |
实践建议： 在监管要求严格的场景（如车险定价报备），优先使用 GLM 作为主模型，XGBoost 作为交叉验证或残差诊断工具；在内部风险排序或个性化定价场景，可直接使用 XGBoost 并配合 SHAP 解释。
4.2 精算模型评价指标
在保费定价场景中，模型评价需兼顾预测精度与排序能力。RMSE 与 MAE 衡量平均预测误差，Gini 系数（或提升度）衡量模型区分高风险与低风险保单的排序能力。三者共同构成精算定价模型的“铁三角”评价体系。
4.2.1 RMSE（均方根误差）
RMSE 对较大误差赋予更高惩罚，适合关注极端赔付风险的场景。计算公式：
RMSE = sqrt( (1/n) * Σ (y_i - ŷ_i)² )其中 y_i 为实际赔付金额或损失率，ŷ_i 为模型预测值。RMSE 的单位与因变量相同，值越小表示模型预测越精准。
4.2.2 MAE（平均绝对误差）
MAE 对所有误差一视同仁，反映平均绝对偏差，对异常值不敏感。计算公式：
MAE = (1/n) * Σ |y_i - ŷ_i|在保费定价中，MAE 常用于评估整体定价水平的偏差程度，便于向业务部门解释“平均每张保单定价偏差多少元”。
4.2.3 Gini 系数（排序能力指标）
Gini 系数来源于洛伦兹曲线，衡量模型对风险高低的区分能力。在精算定价中，Gini 系数越高，说明模型越能将高风险保单与低风险保单有效分离。计算公式基于预测值与实际值的秩相关性：
Gini = 2 * AUC - 1其中 AUC 为 ROC 曲线下面积（若为连续损失率，则使用 Lorenz 曲线下的 Gini 统计量）。Gini 系数取值范围为 [0, 1]，0 表示无区分能力，1 表示完美区分。
注意： 在精算实务中，Gini 系数通常基于保单的预测纯保费与实际赔付进行排序计算，而非分类 AUC。请确保使用“预测值 vs 实际损失”的 Lorenz 曲线，而非混淆分类指标。
4.3 指标选择与业务场景映射
不同业务目标对评价指标的侧重不同。下表给出典型场景下的指标优先级建议：
| 业务场景 | 首要指标 | 次要指标 | 说明 |
|---|---|---|---|
| 监管报备定价 | MAE | Gini 系数 | 监管关注平均定价偏差是否在可接受范围内 |
| 再保险定价 | RMSE | Gini 系数 | 再保关注尾部极端损失，RMSE 对高赔案敏感 |
| 风险筛选与核保 | Gini 系数 | RMSE | 核心是区分好坏风险，排序能力优先 |
| 动态定价优化 | Gini 系数 + MAE | RMSE | 既要排序准确，又要整体定价水平合理 |
实战技巧： 在 XGBoost 调参过程中，建议同时监控训练集与验证集的 RMSE 和 Gini 系数。若 RMSE 下降但 Gini 系数停滞，说明模型在拟合均值但未提升排序能力，此时可调整学习率或树复杂度，或引入排序损失函数（如 pairwise 损失）。
4.4 本章小结
- 引入 XGBoost 的动机： 弥补 GLM 在非线性、交互效应与自动特征学习方面的不足，形成“精算结构 + 机器学习残差”的融合框架。
- RMSE： 惩罚大误差，适合关注极端风险的场景；MAE： 平均偏差，业务解释友好；Gini 系数： 排序区分能力，是精算定价的核心商业指标。
- 指标选择： 根据监管、再保、核保等不同场景，合理分配 RMSE、MAE 与 Gini 系数的权重，避免单一指标优化导致业务偏差。