4. SLI 数据采集基础：数据源选择、采样策略与数据清洗

SLI 口径的校准依赖高质量、高保真的观测数据。数据采集阶段决定了后续分析的“原材料”质量。本节从数据源选型、采样策略与数据预处理三个层面，构建 SLI 数据采集的基础框架。

4.1 数据源选择：三大观测支柱

现代可观测性体系通常从 APM（应用性能监控）、日志 与 基础设施监控 三个维度采集数据。不同数据源对 SLI 口径的支撑能力各有侧重。

4.2 采样策略：在精度与成本之间平衡

全量采集在高并发系统中不可持续。合理的采样策略必须保证 SLI 口径的统计代表性，同时控制存储与计算开销。

4.2.1 常见采样策略对比

4.2.2 采样率校准验证方法

在正式使用采样数据前，应通过以下步骤验证采样是否满足 SLI 口径要求：

1. 对比全量与采样数据的统计分布：在测试环境运行 1 小时全量采集，与同时间段采样数据对比 p50、p99、错误率，偏差应 < 5%。
2. 检查低流量时段覆盖：确保凌晨等低峰期仍有足够样本（建议每分钟至少 30 个样本），否则应启用自适应采样提升低流量采样率。
3. 验证异常事件捕获率：人为注入故障，确认采样数据能捕获到至少 90% 的异常事件。

4.3 数据清洗与预处理

原始数据在进入阈值校准流程前，必须经过清洗与预处理，消除噪声、对齐口径、统一格式。

4.3.1 清洗步骤清单

4.3.2 预处理代码示例（Python 伪代码）

import pandas as pd
import numpy as np

def preprocess_sli_data(df: pd.DataFrame) -> pd.DataFrame:
    """
    SLI 原始数据清洗与预处理流水线
    """
    # 1. 去重
    df = df.drop_duplicates(subset=['trace_id', 'span_id'])

    # 2. 时间戳对齐与排序
    df['timestamp'] = pd.to_datetime(df['timestamp'], unit='ms')
    df = df.sort_values('timestamp')

    # 3. 异常值过滤（延迟 > 300s 视为异常）
    df = df[df['latency_ms'] <= 300000]

    # 4. 缺失值处理（线性插值，最多连续插 5 个点）
    df['latency_ms'] = df['latency_ms'].interpolate(
        method='linear', limit=5, limit_direction='both'
    )

    # 5. 口径标签标准化
    df.rename(columns={'svc_name': 'service', 'ep': 'endpoint'}, inplace=True)

    return df

4.4 数据源选择与清洗的常见陷阱

• 陷阱一：APM 采样率过低导致 p99 失真 —— 当采样率低于 1% 时，p99 的置信区间会急剧扩大，建议核心服务采样率不低于 5%。
• 陷阱二：日志解析错误引入假阳性错误率 —— 日志中非业务异常（如健康检查日志）被误解析为错误，导致 SLI 错误率虚高。应在清洗阶段加入白名单过滤。
• 陷阱三：基础设施监控的聚合粒度与 SLI 口径不匹配 —— 例如用 5 分钟平均 CPU 使用率作为饱和度 SLI，会掩盖 1 分钟级的突发抖动。建议将聚合窗口缩小至 1 分钟或更细。