4. 重复异常聚类分析

重复异常识别走到聚类这一步，目标已经不再是“判断两条告警像不像”，而是把成百上千条历史异常放进同一个特征空间，让算法自动把彼此靠近的异常归成一组。每一组就是一个同源问题簇：簇内异常大概率由同一个根因、同一处代码缺陷或同一类配置漂移引发，簇与簇之间则代表不同的故障模式。聚类分析要交付的最终成果，是一份可评审、可派单、可跟踪的问题簇清单。

要理解聚类，先要理解“异常之间的距离”是怎么定义的。聚类算法本身不关心告警文本，它只接收一个特征向量矩阵。因此本节的第一步不是调参，而是特征工程：把每条异常转换成固定维度的数值向量。常用的特征维度包括：异常类型编码（如 OOM、超时、连接拒绝）、发生时段（小时级 one-hot 或周期编码）、受影响服务/主机标识的哈希分桶、异常持续时长、前后 5 分钟内的关联指标偏移量、以及从告警文本中抽取的关键词 TF-IDF 分量。数值型特征需要标准化，否则“持续时长 3600 秒”会完全压过“错误码 0/1”这类离散特征。

特征矩阵准备好后，进入算法选择。三类方法各有适用场景，不应混用同一套参数去套所有数据。

层次聚类适合异常量在几百到几千条、且希望看到“簇的层级结构”的场景。它不需要预先指定簇数量，通过凝聚过程生成一棵树状图（dendrogram）。以 Ward 最小方差法为例，它每次合并使簇内平方和增量最小的两个簇。在树状图上沿某个高度切一刀，就得到该粒度下的簇划分。实操中常用距离阈值或目标簇数来切树。层次聚类的优点是结果可解释、能观察合并顺序；缺点是复杂度约 O(n²)，异常量上万时计算代价明显。

DBSCAN适合簇形状不规则、且存在大量噪声点的场景。它有两个核心参数：邻域半径 eps 和最小点数 minPts。算法把密度足够高的区域连成簇，落在低密度区的点标记为噪声。这对异常聚类非常实用——偶发的、孤立的单次抖动本就不该被强行归入某个问题簇，DBSCAN 会自然把它们排除。参数选择上，可用 k-距离曲线（k 取 minPts）的拐点来估计 eps。例如 minPts=5 时，若 k-距离曲线在 0.42 附近出现明显拐点，可先取 eps=0.42 试跑，再根据噪声比例（建议控制在 10%～25%）微调。

社区发现适合异常之间已经存在显式关联关系的场景，比如同一调用链上的异常、同一变更单触发的多条告警。做法是先把异常构造成图：节点是异常，边表示“同主机”“同服务”“时间窗口重叠”“调用链相邻”等关系，边权表示关联强度。然后用 Louvain 或 Leiden 算法做模块度优化，把图划分成社区。社区发现的最大价值在于它天然利用了拓扑和因果连接，而不只是数值距离，因此对“同一根因沿调用链扩散”这类问题识别效果很好。

三种方法并非互斥。工程上常见的组合是：先用 DBSCAN 快速剔除噪声、得到初步密度簇；对规模较大的簇再用层次聚类细分，观察内部是否还能拆出子问题；如果异常之间已有调用链或变更关联，则叠加社区发现结果做交叉验证。一个异常如果同时被密度簇和拓扑社区归入同一组，其同源置信度就很高。

聚类跑完后，不能直接把算法输出当成结论。必须做簇质量评估。量化指标包括轮廓系数（越接近 1 越好，低于 0.2 说明簇间区分度不足）、簇内平均距离与簇间最近距离的比值、噪声点占比。但更关键的是业务可解释性：随机抽取每个簇的 5～10 条代表异常，人工判断它们是否真的指向同一类问题。如果某个簇里既有“数据库连接池耗尽”又有“前端静态资源 404”，说明特征空间没有把这两类分开，需要回到特征工程调整。

评估通过后，输出问题簇清单。清单不是简单罗列簇编号，而要为每个簇补齐可行动信息。以下是一份示例清单结构（数据为教学假设，非实测结果）：

清单中的“疑似根因”需要结合簇内异常的共性来推断。一个实用技巧是：对每个簇，统计其异常在“服务、主机、错误码、时间窗口”四个维度上的分布。如果某个簇 80% 以上集中在同一服务且时间窗口高度重叠，根因大概率在该服务的某次变更或某个依赖上；如果簇内异常分散在多个服务但共享同一错误码，则根因可能在下游公共组件。这种分布分析能把“疑似根因”从猜测变成有依据的判断。

最后要强调的是，聚类分析的价值不在于算法本身多复杂，而在于它把“逐条看告警”的低效模式，转变为“按问题簇治理”的批量模式。一个包含 47 条异常的簇，只需要一次根因定位和一次修复验证，就能同时消除 47 条重复异常。这正是重复异常识别与问题复发治理的核心杠杆：聚类把重复的噪声压缩成可管理的问题单元，让治理动作有的放矢。