3. 基于距离的异常检测：核心原理与实战

基于距离的异常检测是异常值规则灰度发布中最常用的无监督方法之一。其核心假设是：正常样本在特征空间中彼此靠近，而异常样本则远离大多数样本。本章将系统讲解欧氏距离、曼哈顿距离、KNN距离异常检测以及局部异常因子(LOF)的原理，并给出可直接用于模型Serving的代码实现。

3.1 距离度量基础：欧氏距离与曼哈顿距离

距离度量是异常检测的基石。在灰度发布场景中，特征向量通常包含数值型指标（如响应时间、错误率、CPU使用率）。选择合适的距离度量直接影响异常判别的准确性。

3.2 KNN距离异常检测

KNN（K-Nearest Neighbors）距离异常检测是一种基于全局密度的简单有效方法。它不直接做分类，而是利用样本到其第k个最近邻的距离作为异常得分。

3.2.1 算法原理

1. 计算距离矩阵：对每个样本，计算它与所有其他样本的距离（欧氏或曼哈顿）。
2. 找出第k近邻：对每个样本，按距离升序排序，取第k个最近邻的距离 \( D_k \)。
3. 异常判定：若 \( D_k \) 大于预设阈值，则标记为异常。

3.2.2 代码实现（Python + scikit-learn）

import numpy as np
from sklearn.neighbors import NearestNeighbors

def knn_anomaly_detection(X, k=10, threshold_percentile=95, metric='euclidean'):
    """
    KNN距离异常检测
    :param X: 特征矩阵 (n_samples, n_features)
    :param k: 近邻数量
    :param threshold_percentile: 阈值百分位
    :param metric: 距离度量 ('euclidean' 或 'manhattan')
    :return: anomaly_flags (bool数组), anomaly_scores (距离值)
    """
    nbrs = NearestNeighbors(n_neighbors=k, metric=metric).fit(X)
    distances, _ = nbrs.kneighbors(X)
    # 取第k近邻的距离（索引k-1，因为0-indexed）
    kth_distances = distances[:, k-1]
    threshold = np.percentile(kth_distances, threshold_percentile)
    anomaly_flags = kth_distances > threshold
    return anomaly_flags, kth_distances

# 灰度发布示例：检测异常流量节点
# X = 标准化后的 [响应时间, 错误率, QPS]
# flags, scores = knn_anomaly_detection(X, k=15, threshold_percentile=97)

3.3 局部异常因子（LOF）原理

局部异常因子（Local Outlier Factor）是Breunig等人于2000年提出的基于局部密度的异常检测算法。它解决了KNN全局阈值在密度不均匀数据上的失效问题，是灰度发布中处理多模态流量模式的利器。

3.3.1 核心概念

3.3.2 LOF的直观理解

LOF的核心思想是：比较样本p的局部密度与其邻居的局部密度。如果p的密度明显低于邻居（LOF > 1），则p是局部异常。这个比值天然具有鲁棒性，不受全局密度变化影响。

3.3.3 LOF的灰度发布优势

• 自适应局部阈值：不同流量模式（如白天高峰vs夜间低谷）自动调整，无需人工设定全局阈值。
• 可解释性强：LOF值直接反映异常程度，便于设定灰度发布的分级告警规则（如LOF>2为P1，LOF>1.5为P2）。
• 支持增量更新：新节点上线时，只需计算其与历史样本的LOF，无需重新训练全量模型。

3.3.4 代码实现

from sklearn.neighbors import LocalOutlierFactor

def lof_anomaly_detection(X, k=20, contamination='auto'):
    """
    LOF异常检测
    :param X: 特征矩阵 (n_samples, n_features)
    :param k: 近邻数量（即n_neighbors）
    :param contamination: 预期异常比例，'auto'则自动推断
    :return: anomaly_flags (-1为异常，1为正常), lof_scores
    """
    clf = LocalOutlierFactor(n_neighbors=k, contamination=contamination)
    y_pred = clf.fit_predict(X)  # -1: 异常, 1: 正常
    # 负的LOF值（sklearn约定：越负越异常）
    lof_scores = -clf.negative_outlier_factor_
    anomaly_flags = (y_pred == -1)
    return anomaly_flags, lof_scores

# 灰度发布Serving示例
# 假设已有历史流量矩阵 X_train
# flags, scores = lof_anomaly_detection(X_train, k=15)
# 新节点 x_new 的LOF计算（需结合历史数据）
# 可使用 clf.fit_predict(np.vstack([X_train, x_new]))[-1] 判断

3.4 三种方法对比与选型

3.5 模型Serving中的工程化要点

• 特征标准化：必须使用训练集的均值和标准差进行实时标准化，避免数据漂移导致距离失真。
• 距离缓存：对于KNN和LOF，可预先计算历史样本的距离矩阵并缓存，新样本只需计算与历史样本的距离。
• 阈值动态更新：在灰度发布过程中，定期（如每小时）重新计算距离分布的百分位数，适应流量变化。
• 降维预处理：当特征维度>50时，建议先用PCA或UMAP降维，否则距离集中现象（curse of dimensionality）会严重削弱检测效果。