4. 基于密度的异常检测：DBSCAN、LOF 与 COF/INFLO 对比
基于密度的异常检测方法不假设数据服从特定分布，而是从“局部密度”出发：正常点位于高密度区域，异常点则远离高密度簇或处于低密度孤立区。本章详解三种核心算法——DBSCAN、LOF、COF/INFLO，并给出生产级选型建议。
4.1 DBSCAN 聚类异常检测
DBSCAN（Density-Based Spatial Clustering of Applications with Noise）将密度相连的点聚为一簇，未被任何簇包含的点标记为噪声（异常）。
核心参数与概念
| 参数/概念 | 含义 | 生产调参经验 |
|---|---|---|
| eps (ε) | 邻域半径 | 先通过 k-distance 图拐点确定；高维数据需配合 PCA 降维 |
| minPts | 核心点最少邻域点数 | 通常取 dim+1 或 2*dim；数据量大时适当增大 |
| 核心点 | ε 邻域内 ≥ minPts 个点 | — |
| 边界点 | 非核心点，但落在某核心点邻域内 | — |
| 噪声点 | 既非核心也非边界 | 即异常候选 |
DBSCAN 异常检测流程
- 参数估计：绘制 k-distance 图，取拐点处距离作为 eps。
- 密度聚类：标记核心点、边界点，扩展簇。
- 噪声提取：所有未被任何簇包含的点即为异常。
- 后处理：对噪声点按业务阈值（如距离簇中心的马氏距离）二次过滤。
生产避坑：DBSCAN 对 eps 敏感，建议在灰度发布中设置 eps ±20% 的浮动区间，用 A/B 对比选择最佳参数。
4.2 LOF 算法详解
LOF（Local Outlier Factor）为每个点计算“局部密度偏离程度”。LOF 值远大于 1 表示该点密度显著低于邻居，判定为异常。
LOF 计算步骤
- k-距离：点 p 到第 k 近邻的距离。
- 可达距离：rdk(p, o) = max(k-distance(o), dist(p, o))。
- 局部可达密度：lrdk(p) = 1 / (∑ rdk(p, o) / |Nk(p)|)。
- 局部异常因子：LOFk(p) = (∑ lrdk(o) / lrdk(p)) / |Nk(p)|。
LOF 阈值选取参考
| LOF 值范围 | 判定 | 生产动作 |
|---|---|---|
| ≤ 1.0 | 正常点 | 直接通过 |
| 1.0 ~ 1.5 | 轻微偏离 | 记录日志，不阻断 |
| 1.5 ~ 3.0 | 可疑异常 | 进入人工审核队列 |
| > 3.0 | 强异常 | 自动拦截/降级 |
工程建议：在 Serving 阶段预计算 LOF 值并缓存，避免每次推理都重新计算全量邻居。
4.3 COF 与 INFLO 对比
COF（Connectivity-Based Outlier Factor）和 INFLO（Influenced Outlierness）都是 LOF 的改进变体，分别解决“低密度簇边界误判”和“局部密度波动”问题。
核心差异
| 维度 | COF | INFLO |
|---|---|---|
| 密度定义 | 基于最小生成树（MST）的链式距离 | 基于反向 k 近邻（RNN）的对称密度 |
| 适用场景 | 低密度簇、流形结构数据 | 密度分布不均匀、簇边界模糊 |
| 计算复杂度 | O(n²) 以上（MST 构建） | O(n log n) 近似（需维护 RNN 索引） |
| 误报率 | 低密度簇边界误报少 | 密度波动区域误报少 |
| 生产成熟度 | 中等（适合离线分析） | 较高（可在线增量更新） |
选型决策树
- 数据呈流形/链状分布 → 优先 COF
- 数据密度波动大、簇边界模糊 → 优先 INFLO
- 需要在线实时推理 → 优先 INFLO（可增量更新 RNN）
- 离线批量分析、精度优先 → 优先 COF
注意：COF 和 INFLO 的阈值设定不能直接沿用 LOF 的“1.0 基准线”，需在灰度发布阶段通过标注数据重新校准。
4.4 三种算法对比总览
| 算法 | 输出 | 是否需要预设簇数 | 对参数敏感度 | 可解释性 | 推荐场景 |
|---|---|---|---|---|---|
| DBSCAN | 簇标签 + 噪声标记 | 否 | 高（eps） | 高 | 快速过滤明显离群点 |
| LOF | 连续异常分数 | 否 | 中（k） | 中 | 通用异常评分 |
| COF | 连续异常分数 | 否 | 中（k） | 低 | 流形/链状数据 |
| INFLO | 连续异常分数 | 否 | 低 | 中 | 密度不均匀、在线场景 |
4.5 生产级 Serving 集成要点
- 预计算索引：对 LOF/COF/INFLO，提前构建 k-d 树或 Ball 树索引，将单次查询复杂度从 O(n) 降至 O(log n)。
- 增量更新：INFLO 支持反向近邻增量维护；DBSCAN 可使用 HDBSCAN* 变体支持新点插入。
- 阈值动态调整：在灰度发布阶段，通过 KS 检验或 PR-AUC 曲线选择最优阈值，避免固定阈值导致误报。
- 特征归一化：密度算法对距离尺度敏感，务必在 Serving 流水线中保持与训练时一致的归一化参数。
灰度发布检查清单：
✅ 在 5% 流量上对比 DBSCAN/LOF/COF/INFLO 的召回率与延迟
✅ 记录每个异常点的邻居数量与密度值，用于事后归因
✅ 设置熔断机制：若异常率突增超过 3σ，自动回滚至上一版本
✅ 在 5% 流量上对比 DBSCAN/LOF/COF/INFLO 的召回率与延迟
✅ 记录每个异常点的邻居数量与密度值，用于事后归因
✅ 设置熔断机制：若异常率突增超过 3σ，自动回滚至上一版本