2. 延迟指标定义与采集

延迟是精算模型性能最直接的度量指标。在告警阈值调优之前，必须统一延迟指标的定义口径、采集方式与预处理逻辑，否则后续所有阈值计算都将失去基准。本章从指标定义、采集手段、数据清洗三个层面展开。

2.1 关键延迟指标定义

精算模型通常运行在批处理或近实时推理场景中，延迟指标需要覆盖分布特征、集中趋势与极端值。下表列出核心指标及其适用场景：

2.2 延迟采集方式

精算模型的延迟数据通常来自三种采集路径：应用埋点、日志解析、APM 工具。三种方式在精度、侵入性和运维成本上各有优劣。

2.2.1 三种采集方式对比

2.2.2 应用埋点示例（Python）

以下代码展示如何在精算模型的核心计算函数中埋点采集延迟：

import time
import statistics

def run_actuarial_model(policy_data):
    """精算模型核心计算函数，带延迟埋点"""
    start_time = time.perf_counter()
    
    # 模拟模型计算逻辑
    result = complex_calculation(policy_data)
    
    end_time = time.perf_counter()
    latency_ms = (end_time - start_time) * 1000
    
    # 将延迟指标推送到监控系统（示例：Prometheus Histogram）
    ACTUARIAL_MODEL_LATENCY.observe(latency_ms)
    
    return result

# 延迟指标注册（Prometheus 客户端示例）
from prometheus_client import Histogram

ACTUARIAL_MODEL_LATENCY = Histogram(
    'actuarial_model_latency_ms',
    'Actuarial model execution latency in milliseconds',
    buckets=[10, 50, 100, 200, 500, 1000, 2000, 5000]
)

2.3 延迟数据采集架构

下图展示精算模型延迟数据从产生到存储的完整采集链路：

2.4 数据清洗与预处理

原始延迟数据在进入告警系统前必须经过清洗与预处理，否则脏数据会直接污染阈值计算。以下是标准预处理流水线：

2.4.1 预处理步骤清单

1. 去重：移除因重试或重复上报产生的相同时间戳、相同请求 ID 的延迟记录。
2. 异常值过滤：剔除明显不合理的延迟值，例如负值、超过模型最大运行时间 10 倍的值、或由基础设施故障导致的超长延迟（如节点宕机恢复后的首次运行）。
3. 时间对齐：将不同采集源（埋点、日志、APM）的延迟数据对齐到统一的时间窗口（如 1 分钟、5 分钟桶），确保百分位计算在同一时间粒度下进行。
4. 百分位计算：在每个时间窗口内计算 P50、P95、P99 延迟，推荐使用 T-Digest 或 HDR Histogram 算法以降低存储开销。
5. 缺失值处理：如果某个时间窗口内无数据（例如模型未运行），不填充默认值，直接跳过该窗口，避免引入虚假基线。

2.4.2 预处理代码示例（Python）

import pandas as pd
import numpy as np

def preprocess_latency_data(raw_df: pd.DataFrame) -> pd.DataFrame:
    """
    延迟数据清洗与预处理流水线
    
    参数:
        raw_df: 包含 'timestamp', 'latency_ms', 'request_id' 列的原始数据
    
    返回:
        清洗后按时间窗口聚合的延迟指标 DataFrame
    """
    # 1. 去重：基于 request_id 和 timestamp 去重
    df = raw_df.drop_duplicates(subset=['request_id', 'timestamp'])
    
    # 2. 异常值过滤：剔除负值和超过 99.9 百分位 5 倍的值
    upper_bound = df['latency_ms'].quantile(0.999) * 5
    df = df[(df['latency_ms'] >= 0) & (df['latency_ms'] <= upper_bound)]
    
    # 3. 时间对齐：按 1 分钟窗口聚合
    df['time_bucket'] = pd.to_datetime(df['timestamp']).dt.floor('1min')
    
    # 4. 百分位计算
    def compute_percentiles(group):
        return pd.Series({
            'p50': np.percentile(group['latency_ms'], 50),
            'p95': np.percentile(group['latency_ms'], 95),
            'p99': np.percentile(group['latency_ms'], 99),
            'avg': group['latency_ms'].mean(),
            'max': group['latency_ms'].max(),
            'count': len(group)
        })
    
    aggregated = df.groupby('time_bucket').apply(compute_percentiles).reset_index()
    
    # 5. 缺失值处理：直接丢弃无数据的时间窗口（不填充）
    aggregated = aggregated.dropna(subset=['p50', 'p95', 'p99'])
    
    return aggregated

2.5 延迟指标与告警阈值的映射关系

在完成指标定义与采集后，需要将不同延迟指标映射到对应的告警等级。下表给出精算模型场景下的推荐映射：