3. 异常值类型分类:全局异常点、局部异常点、集体异常点、上下文异常点

在风控数据质量治理中,准确识别异常值的类型是选择清洗策略的前提。不同类型的异常点反映不同的数据生成机制与风险模式,需要采用差异化的检测与处理方法。根据异常值在数据空间中的分布特征与语义关系,可将其划分为以下四种核心类型。

3.1 四种异常值类型概述

下表从定义、典型场景与检测难度三个维度,对四种异常值类型进行横向对比:

异常类型 核心定义 风控典型场景 检测难度
全局异常点 单个数据点显著偏离整体数据分布 单笔交易金额远超正常范围 低(统计阈值即可)
局部异常点 相对于邻近区域的数据点表现异常 用户行为在相似群体中突变 中(需考虑邻域密度)
集体异常点 一组数据点整体偏离正常模式 批量注册、团伙欺诈 高(需序列或聚类分析)
上下文异常点 在特定上下文(时间/空间)中表现异常 凌晨时段的异常登录行为 中高(需上下文特征)
数据治理提示: 在风控数据质量优化初期,建议优先处理全局异常点与上下文异常点,这两类异常对模型稳定性的影响最直接,且检测成本相对较低。

3.2 全局异常点(Global Outliers)

全局异常点是最直观的异常类型,指单个数据点在全局统计分布中处于极端位置。这类异常通常由录入错误、系统故障或极端欺诈行为产生。

  • 检测方法: Z-Score、IQR(四分位距)、均值±3σ原则。
  • 风控案例: 某用户单笔消费金额为 500,000 元,而该平台 99% 的交易金额在 100~10,000 元之间。
  • 处理策略: 直接剔除或进行 Winsorize 缩尾处理。

3.3 局部异常点(Local Outliers)

局部异常点不一定是全局极端值,但在其局部邻域中显著偏离邻居的行为模式。这类异常在用户分层、群体画像分析中尤为关键。

  • 检测方法: LOF(局部异常因子)、DBSCAN 聚类。
  • 风控案例: 某用户月均消费 3,000 元,与其同收入、同年龄段的用户群体月均消费 8,000 元,该用户即为局部异常点。
  • 处理策略: 结合群体标签进行分群建模,或对局部异常点单独标记为“行为偏离”。

3.4 集体异常点(Collective Outliers)

集体异常点指一组数据点整体偏离正常模式,但单个点单独看可能正常。这类异常是团伙欺诈、批量攻击的主要表现形式。

  • 检测方法: 序列模式挖掘、图异常检测、聚类分析。
  • 风控案例: 同一 IP 地址在 1 分钟内注册 200 个新账户,每个账户的注册信息单独看均合规,但整体行为异常。
  • 处理策略: 构建群体行为特征(如注册频率、IP 聚集度),对集体异常点进行整体拦截或降权。

3.5 上下文异常点(Contextual Outliers)

上下文异常点依赖于特定的上下文维度(如时间、地理位置、设备环境)来判断。同一个数值在不同上下文中可能被判定为正常或异常。

  • 检测方法: 时间序列分解、滑动窗口统计、上下文条件阈值。
  • 风控案例: 用户 A 在凌晨 3:00 发起一笔 10,000 元的转账,而该用户历史交易时间集中在 9:00~18:00,该笔交易即为上下文异常点。
  • 处理策略: 引入时间、地点等上下文特征作为模型输入,或对特定上下文区间设置动态阈值。
常见误区: 不要将上下文异常点简单归为全局异常点。例如,深夜大额交易在全局统计中可能不显著,但在用户个人行为上下文中属于高风险信号。忽略上下文会导致漏报。

3.6 四种异常类型的关系与对比

下图展示了四种异常类型在二维数据空间中的分布特征,帮助直观理解其差异:

四种异常值类型分布示意图 全局异常 (远离整体集群) 正常数据集群 局部异常 (偏离邻域) 集体异常 (成组偏离) 上下文异常 (时间/空间维度异常) 说明: 全局异常点远离所有正常数据;局部异常点偏离其邻近区域;集体异常点以组形式偏离;上下文异常点需结合时间/空间维度判断。 同一数据点可能同时属于多种异常类型,需根据业务场景综合判定。

3.7 异常类型检测流程

在实际风控数据质量治理中,建议按照以下流程对异常值进行类型识别与处理:

  1. 全局扫描: 使用 IQR 或 Z-Score 快速识别全局异常点,优先处理极端值。
  2. 上下文绑定: 引入时间、地点、设备等上下文维度,标记上下文异常点。
  3. 局部邻域分析: 对用户群体进行分群,使用 LOF 或 DBSCAN 检测局部异常点。
  4. 群体行为挖掘: 通过序列模式或图分析,识别集体异常点(团伙欺诈)。
  5. 综合标记与处理: 将识别出的异常类型进行标签化,分别制定清洗或降权策略。
质量治理最佳实践: 建议在数据质量监控平台中为每个异常点记录其“异常类型标签”,便于后续模型迭代与审计追溯。例如,在数据字典中增加字段 outlier_type,取值包括 global、local、collective、contextual。

通过系统化的异常类型分类,风控数据质量团队能够更精准地定位数据问题根源,避免“一刀切”式的清洗导致信息损失,从而在保障数据质量的同时保留有价值的风险信号。