4. 数据预处理：异常值剔除、缺失值填充与数据归一化方法

在告警阈值 A/B 测试中，原始历史数据往往包含噪声、缺失记录和量纲差异。直接使用原始数据会导致阈值计算偏差、A/B 组对比失真。数据预处理是保证验证结论可靠的第一道防线，本章聚焦三类核心操作：异常值剔除、缺失值填充与数据归一化。

4.1 异常值剔除：识别与处理离群点

告警指标中的异常值通常由瞬时故障、采集抖动、人为误操作引起。若不剔除，会拉高或拉低阈值基线，导致误告警或漏告警。常用方法包括 IQR 规则与 Z-Score 规则。

4.2 缺失值填充：保持时序完整性

告警数据采集链路中，网络抖动、采集器重启、存储延迟都会造成数据点缺失。缺失比例超过 20% 的指标应标记为不可用；低于 20% 时，根据缺失模式选择填充策略。

4.3 数据归一化：消除量纲差异

告警阈值 A/B 测试中，不同指标（如 CPU 百分比、内存 GB、延迟 ms）量纲差异巨大。归一化使多指标可比较、可加权、可聚合。常用方法包括 Min-Max 归一化与 Z-Score 标准化。

4.4 预处理流水线代码示例

以下 Python 代码展示完整的预处理流水线，包含异常值剔除、缺失值填充与归一化，适用于 Pandas DataFrame 格式的告警时序数据。

import pandas as pd
import numpy as np

def preprocess_alarm_series(df, value_col='value', method='iqr', fill_method='linear', norm_method='minmax'):
    """
    告警时序数据预处理流水线
    参数:
        df: 包含时间戳和值的 DataFrame
        value_col: 指标值列名
        method: 异常值剔除方法 ('iqr', 'zscore', 'mad')
        fill_method: 缺失值填充方法 ('ffill', 'linear', 'median')
        norm_method: 归一化方法 ('minmax', 'zscore', 'robust')
    返回:
        预处理后的 DataFrame 及归一化参数
    """
    data = df.copy()
    
    # 1. 异常值剔除
    if method == 'iqr':
        Q1 = data[value_col].quantile(0.25)
        Q3 = data[value_col].quantile(0.75)
        IQR = Q3 - Q1
        lower = Q1 - 1.5 * IQR
        upper = Q3 + 1.5 * IQR
        data = data[(data[value_col] >= lower) & (data[value_col] <= upper)]
    elif method == 'zscore':
        mean = data[value_col].mean()
        std = data[value_col].std()
        data['z'] = (data[value_col] - mean) / std
        data = data[data['z'].abs() <= 3]
        data.drop(columns=['z'], inplace=True)
    elif method == 'mad':
        median = data[value_col].median()
        mad = np.median(np.abs(data[value_col] - median))
        data = data[np.abs(data[value_col] - median) <= 3 * mad]
    
    # 2. 缺失值填充
    data.set_index('timestamp', inplace=True)
    if fill_method == 'ffill':
        data[value_col] = data[value_col].fillna(method='ffill', limit=3)
    elif fill_method == 'linear':
        data[value_col] = data[value_col].interpolate(method='linear', limit=3)
    elif fill_method == 'median':
        med_val = data[value_col].median()
        data[value_col] = data[value_col].fillna(med_val)
    
    # 3. 数据归一化（基于基线期参数）
    if norm_method == 'minmax':
        v_min = data[value_col].min()
        v_max = data[value_col].max()
        data[value_col + '_norm'] = (data[value_col] - v_min) / (v_max - v_min)
        params = {'min': v_min, 'max': v_max}
    elif norm_method == 'zscore':
        mu = data[value_col].mean()
        sigma = data[value_col].std()
        data[value_col + '_norm'] = (data[value_col] - mu) / sigma
        params = {'mean': mu, 'std': sigma}
    elif norm_method == 'robust':
        med = data[value_col].median()
        iqr_val = data[value_col].quantile(0.75) - data[value_col].quantile(0.25)
        data[value_col + '_norm'] = (data[value_col] - med) / iqr_val
        params = {'median': med, 'iqr': iqr_val}
    
    data.reset_index(inplace=True)
    return data, params

4.5 预处理质量检查清单

完成预处理后，建议逐项检查以下指标，确保数据质量满足 A/B 测试要求：

• 异常值剔除比例：应在 1%–5% 之间，超过 10% 需检查数据源或调整阈值
• 缺失值填充比例：填充后缺失率应为 0%，填充标记记录完整
• 归一化后分布：Min-Max 归一化后值域为 [0,1]；Z-Score 标准化后均值接近 0，标准差接近 1
• 时序连续性：时间戳间隔均匀，无跳点或重复
• A/B 组一致性：两组数据经过同一套预处理参数，分布无显著差异（KS 检验 p > 0.05）