异常值基础概念：什么是异常值，异常值的类型
异常值（Anomaly / Outlier）是指在数据集中显著偏离大多数观测值的个体或模式。在时序监控、日志分析、金融风控等场景中，异常值往往意味着故障、攻击、欺诈或系统状态突变。理解异常值的本质与分类，是构建灰度发布规则与异常检测 API 的前提。
1. 什么是异常值
异常值并非简单的“错误数据”，而是指在统计分布、时序趋势或业务逻辑上偏离预期范围的数据点。其核心特征包括：
- 稀有性：在正常样本中占比极低（通常 < 5%）。
- 差异性：与正常模式在数值、频率或结构上存在显著差异。
- 信息价值：往往携带关键信号，如服务器宕机前的延迟突增、交易金额的异常倍数。
灰度发布中的异常值视角：在灰度发布期间，异常值可能来自新版本代码引入的 bug、配置错误或流量突增。区分“正常业务波动”与“真实异常”是规则灰度发布的核心挑战。
2. 异常值的三大类型
根据异常作用的数据范围与上下文关系，异常值通常分为三类：点异常、上下文异常、集体异常。下表从定义、示例与检测难度三个维度进行对比：
| 类型 | 定义 | 典型示例 | 检测难度 |
|---|---|---|---|
| 点异常 | 单个数据点显著偏离全局分布 | CPU 使用率突增到 95%（正常范围 20%~40%） | 低（阈值法即可） |
| 上下文异常 | 在特定上下文（时间、空间）中异常，但全局看可能正常 | 凌晨 3 点的登录请求量突增（白天正常） | 中（需上下文窗口） |
| 集体异常 | 一组数据点整体偏离正常模式，但单个点可能正常 | 连续 10 秒内每秒错误数从 0 升至 100 | 高（需序列模式分析） |
3. 点异常（Point Anomaly）
点异常是最基础、最直观的异常类型。它指单个数据实例相对于数据集的其余部分而言是异常的。在灰度发布监控中，点异常通常对应瞬时指标尖刺。
- 检测方法：Z-Score、IQR（四分位距）、固定阈值。
- 灰度发布场景：新版本上线后，某台机器的内存使用率瞬间超过 90%。
- 局限性：无法识别周期性波动中的异常，容易产生误报。
4. 上下文异常（Contextual Anomaly）
上下文异常的行为在全局统计上可能完全正常，但在特定上下文（如时间、地理位置、用户群体）中却表现为异常。上下文由上下文属性（如时间戳、季节、区域）和行为属性（如请求量、延迟）共同定义。
- 典型场景：工作日上午 10 点的 API 调用量 1000 QPS 属于正常，但同一数值出现在凌晨 2 点则属于异常。
- 检测方法：基于时间窗口的移动平均、季节性分解（STL）、周期性阈值。
- 灰度发布价值：避免将“新版本在低峰期的正常表现”误判为异常。
上下文异常检测公式（简化）：
若当前值 x 在时间窗口 t 内偏离历史同期均值 μ 超过 k 倍标准差 σ，则标记为上下文异常。
若当前值 x 在时间窗口 t 内偏离历史同期均值 μ 超过 k 倍标准差 σ，则标记为上下文异常。
if |x - μ(t)| > k * σ(t) → Contextual Anomaly5. 集体异常（Collective Anomaly）
集体异常是指一组相关的数据实例共同构成异常模式，但其中单个数据点可能并不异常。集体异常强调序列依赖或结构依赖，常见于时序数据、图数据或日志序列。
- 典型场景：连续 5 分钟的 5xx 错误率从 0.1% 逐步攀升至 10%，中间每个点单独看可能都在阈值内，但整体趋势明显异常。
- 检测方法：子序列匹配、马尔可夫模型、基于密度的聚类（如 DBSCAN）。
- 灰度发布挑战：集体异常往往反映系统性的渐进式劣化，而非瞬时故障，需要滑动窗口聚合与趋势分析。
6. 三类异常的关系与对比
下图展示了三类异常在时序数据中的直观区别：点异常表现为孤立尖刺，上下文异常表现为与历史模式不符的波动，集体异常表现为连续数据点的整体偏移。
7. 异常值类型在灰度发布中的选择策略
在灰度发布规则设计中，需要根据监控指标的特性选择合适的异常类型检测策略：
- 瞬时指标（如 CPU、内存）：优先使用点异常检测，配合固定阈值或 Z-Score。
- 周期性指标（如日活用户、API 调用量）：必须使用上下文异常检测，引入时间窗口与历史基线。
- 趋势性指标（如错误率、延迟 P99）：推荐使用集体异常检测，通过滑动窗口聚合与趋势斜率判断。
常见误区：在灰度发布中仅使用点异常检测处理所有指标，会导致大量误报（将正常周期性波动标记为异常）或漏报（忽略渐进式劣化）。建议在 API 设计阶段就明确每个指标的异常类型归属。
8. 异常值检测的 API 设计启示
理解异常值类型后，在设计异常检测 API 时应考虑以下参数：
| API 参数 | 对应异常类型 | 说明 |
|---|---|---|
threshold |
点异常 | 固定阈值，适用于 CPU、内存等稳定指标 |
window_size |
上下文异常 | 时间窗口长度（如 5min、1h），用于计算历史基线 |
seasonality |
上下文异常 | 周期性模式（daily、weekly），辅助上下文判断 |
min_sequence_length |
集体异常 | 连续异常点的最小数量，用于识别集体模式 |
trend_sensitivity |
集体异常 | 趋势变化敏感度（0~1），控制集体异常检测的严格程度 |
通过将异常值类型映射到 API 参数，灰度发布系统可以灵活组合检测策略，适应不同业务场景的监控需求。