3. 阈值设置的核心原则：误报率与漏报率的平衡、业务容忍度、统计显著性水平

阈值设置并非简单的数学计算，而是在统计可靠性与业务可操作性之间寻找最优平衡点。本章将围绕三个核心原则展开：误报率与漏报率的权衡、业务容忍度的量化、以及统计显著性水平的约束。

3.1 误报率与漏报率的平衡

任何告警系统都存在两类错误：

• 误报（False Positive, FP）：因子未漂移，但系统错误地触发了告警。
• 漏报（False Negative, FN）：因子已漂移，但系统未能识别并告警。

误报率与漏报率呈反向关系：阈值越宽松（如 Z-score 设为 1.5），漏报率降低但误报率升高；阈值越严格（如 Z-score 设为 3.5），误报率降低但漏报率升高。下图展示了这一权衡关系：

3.2 业务容忍度：将统计指标转化为业务语言

统计上的“最优”阈值未必是业务上的“可接受”阈值。业务容忍度要求我们根据实际场景调整权重：

3.3 统计显著性水平：避免“假发现”

阈值设置必须考虑统计显著性，防止因随机波动而频繁告警。常用的显著性水平包括：

• α = 0.05（常规水平）：约 5% 的误报概率，适用于一般监控。
• α = 0.01（严格水平）：约 1% 的误报概率，适用于高价值因子。
• Bonferroni 校正：当同时监控多个因子时，将 α 除以因子数量（α/n），控制整体误报率。

下表展示了不同显著性水平对应的 Z-score 阈值（假设正态分布）：

3.4 三原则的协同决策流程

实际阈值设置需要将三个原则串联为决策流程：

3.5 代码示例：基于三原则的阈值自动选择

以下 Python 代码演示了如何结合统计显著性、误报/漏报平衡和业务成本来选择最优阈值：

import numpy as np
from scipy import stats

def optimal_threshold(scores, labels, alpha=0.05, fp_cost=1.0, fn_cost=1.0):
    """
    基于三原则选择最优阈值
    
    参数:
        scores: 因子漂移得分（如 Z-score）
        labels: 真实漂移标签（1=漂移, 0=未漂移）
        alpha: 统计显著性水平
        fp_cost: 一次误报的成本权重
        fn_cost: 一次漏报的成本权重
    
    返回:
        best_threshold: 最优阈值
        metrics: 对应的性能指标
    """
    # 1. 统计显著性约束：计算最小阈值
    min_threshold = stats.norm.ppf(1 - alpha / 2)  # 双侧
    
    # 2. 生成候选阈值范围
    thresholds = np.linspace(min_threshold, max(scores), 100)
    
    best_cost = np.inf
    best_threshold = min_threshold
    best_metrics = {}
    
    for t in thresholds:
        # 计算混淆矩阵
        pred = (scores > t).astype(int)
        tp = np.sum((pred == 1) & (labels == 1))
        fp = np.sum((pred == 1) & (labels == 0))
        fn = np.sum((pred == 0) & (labels == 1))
        tn = np.sum((pred == 0) & (labels == 0))
        
        # 3. 业务容忍度：计算加权总成本
        total_cost = fp * fp_cost + fn * fn_cost
        
        if total_cost < best_cost:
            best_cost = total_cost
            best_threshold = t
            best_metrics = {
                'threshold': round(t, 3),
                'false_positive_rate': round(fp / (fp + tn), 4) if (fp + tn) > 0 else 0,
                'false_negative_rate': round(fn / (fn + tp), 4) if (fn + tp) > 0 else 0,
                'total_cost': round(total_cost, 2)
            }
    
    return best_threshold, best_metrics

# 示例用法
np.random.seed(42)
scores = np.random.randn(1000)  # 模拟 Z-score
labels = (np.random.rand(1000) < 0.1).astype(int)  # 10% 真实漂移

threshold, metrics = optimal_threshold(
    scores, labels, 
    alpha=0.05, 
    fp_cost=2.0,   # 误报成本较高
    fn_cost=5.0    # 漏报成本更高
)

print(f"最优阈值: {metrics['threshold']}")
print(f"误报率: {metrics['false_positive_rate']}")
print(f"漏报率: {metrics['false_negative_rate']}")
print(f"总成本: {metrics['total_cost']}")