4. 阈值设定方法论：经验法则、统计控制图法、极值理论(EVT)入门、机器学习方法简介

告警阈值的设定是精算模型监控的核心环节。阈值设定过低会导致大量误报，增加运营成本；阈值设定过高则可能漏报真实风险，造成重大损失。本章系统介绍四种主流方法论，从简单到复杂，帮助精算师根据数据特征和业务场景选择最合适的方案。

4.1 经验法则

经验法则基于数据分布的基本统计量，计算简单、易于解释，是阈值设定的起点。最常用的方法包括均值-标准差法和百分位数法。

# Python 经验法则阈值计算示例
import numpy as np

def empirical_thresholds(data, method='zscore', k=3):
    if method == 'zscore':
        mu, sigma = np.mean(data), np.std(data)
        return mu - k*sigma, mu + k*sigma
    elif method == 'percentile':
        return np.percentile(data, [0.5, 99.5])
    elif method == 'mad':
        median = np.median(data)
        mad = np.median(np.abs(data - median))
        return median - k*mad, median + k*mad

4.2 统计控制图法

统计过程控制(SPC)图将阈值设定与时间序列动态结合，能够区分普通原因变异和特殊原因变异。精算监控中最常用的控制图包括Shewhart图、CUSUM图和EWMA图。

4.3 极值理论(EVT)入门

极值理论专注于建模分布的尾部行为，是设定极端事件告警阈值的理论基石。精算中常见的极端损失、巨灾赔付等场景，EVT比经验法则更准确地估计高分位数阈值。

两种主流建模方法：

• BMM（Block Maxima Method）：将数据分块，取每块最大值，拟合广义极值分布(GEV)。适合年度最大损失等场景。
• POT（Peaks Over Threshold）：选取超过某个高阈值的所有观测值，拟合广义帕累托分布(GPD)。更高效利用数据，是精算实务首选。

# Python EVT-POT 阈值设定示例
import numpy as np
from scipy.stats import genpareto

def evt_threshold(data, exceedance_prob=0.001):
    # 步骤1：选择初始阈值（通常为90%-95%分位数）
    u = np.percentile(data, 95)
    # 步骤2：提取超阈值数据
    exceedances = data[data > u] - u
    # 步骤3：拟合GPD分布
    params = genpareto.fit(exceedances)
    # 步骤4：计算高分位数阈值
    n = len(data)
    nu = len(exceedances)
    VaR = u + (params[1]/params[0]) * ((n/nu * exceedance_prob)**(-params[0]) - 1)
    return VaR

4.4 机器学习方法简介

当精算指标维度高、关系复杂、存在非线性模式时，机器学习方法能够自动学习正常模式并动态调整阈值。主要方法包括孤立森林、自编码器和One-Class SVM。

4.5 方法选择决策框架

面对实际业务场景，精算师需要根据数据特征、业务需求和资源约束选择合适的方法。以下决策树提供系统化的选择路径：

1. 数据量是否充足？（<100个样本 → 经验法则；≥100 → 继续）
2. 是否关注极端事件？（是 → EVT；否 → 继续）
3. 数据是否独立？（否 → 控制图法；是 → 继续）
4. 是否需要解释性？（是 → XGBoost+SHAP；否 → 孤立森林/自编码器）