3. 异常值类型分类:全局异常点、局部异常点、集体异常点、上下文异常点
在风控数据质量治理中,准确识别异常值的类型是选择清洗策略的前提。不同类型的异常点反映不同的数据生成机制与风险模式,需要采用差异化的检测与处理方法。根据异常值在数据空间中的分布特征与语义关系,可将其划分为以下四种核心类型。
3.1 四种异常值类型概述
下表从定义、典型场景与检测难度三个维度,对四种异常值类型进行横向对比:
| 异常类型 | 核心定义 | 风控典型场景 | 检测难度 |
|---|---|---|---|
| 全局异常点 | 单个数据点显著偏离整体数据分布 | 单笔交易金额远超正常范围 | 低(统计阈值即可) |
| 局部异常点 | 相对于邻近区域的数据点表现异常 | 用户行为在相似群体中突变 | 中(需考虑邻域密度) |
| 集体异常点 | 一组数据点整体偏离正常模式 | 批量注册、团伙欺诈 | 高(需序列或聚类分析) |
| 上下文异常点 | 在特定上下文(时间/空间)中表现异常 | 凌晨时段的异常登录行为 | 中高(需上下文特征) |
数据治理提示: 在风控数据质量优化初期,建议优先处理全局异常点与上下文异常点,这两类异常对模型稳定性的影响最直接,且检测成本相对较低。
3.2 全局异常点(Global Outliers)
全局异常点是最直观的异常类型,指单个数据点在全局统计分布中处于极端位置。这类异常通常由录入错误、系统故障或极端欺诈行为产生。
- 检测方法: Z-Score、IQR(四分位距)、均值±3σ原则。
- 风控案例: 某用户单笔消费金额为 500,000 元,而该平台 99% 的交易金额在 100~10,000 元之间。
- 处理策略: 直接剔除或进行 Winsorize 缩尾处理。
3.3 局部异常点(Local Outliers)
局部异常点不一定是全局极端值,但在其局部邻域中显著偏离邻居的行为模式。这类异常在用户分层、群体画像分析中尤为关键。
- 检测方法: LOF(局部异常因子)、DBSCAN 聚类。
- 风控案例: 某用户月均消费 3,000 元,与其同收入、同年龄段的用户群体月均消费 8,000 元,该用户即为局部异常点。
- 处理策略: 结合群体标签进行分群建模,或对局部异常点单独标记为“行为偏离”。
3.4 集体异常点(Collective Outliers)
集体异常点指一组数据点整体偏离正常模式,但单个点单独看可能正常。这类异常是团伙欺诈、批量攻击的主要表现形式。
- 检测方法: 序列模式挖掘、图异常检测、聚类分析。
- 风控案例: 同一 IP 地址在 1 分钟内注册 200 个新账户,每个账户的注册信息单独看均合规,但整体行为异常。
- 处理策略: 构建群体行为特征(如注册频率、IP 聚集度),对集体异常点进行整体拦截或降权。
3.5 上下文异常点(Contextual Outliers)
上下文异常点依赖于特定的上下文维度(如时间、地理位置、设备环境)来判断。同一个数值在不同上下文中可能被判定为正常或异常。
- 检测方法: 时间序列分解、滑动窗口统计、上下文条件阈值。
- 风控案例: 用户 A 在凌晨 3:00 发起一笔 10,000 元的转账,而该用户历史交易时间集中在 9:00~18:00,该笔交易即为上下文异常点。
- 处理策略: 引入时间、地点等上下文特征作为模型输入,或对特定上下文区间设置动态阈值。
常见误区: 不要将上下文异常点简单归为全局异常点。例如,深夜大额交易在全局统计中可能不显著,但在用户个人行为上下文中属于高风险信号。忽略上下文会导致漏报。
3.6 四种异常类型的关系与对比
下图展示了四种异常类型在二维数据空间中的分布特征,帮助直观理解其差异:
3.7 异常类型检测流程
在实际风控数据质量治理中,建议按照以下流程对异常值进行类型识别与处理:
- 全局扫描: 使用 IQR 或 Z-Score 快速识别全局异常点,优先处理极端值。
- 上下文绑定: 引入时间、地点、设备等上下文维度,标记上下文异常点。
- 局部邻域分析: 对用户群体进行分群,使用 LOF 或 DBSCAN 检测局部异常点。
- 群体行为挖掘: 通过序列模式或图分析,识别集体异常点(团伙欺诈)。
- 综合标记与处理: 将识别出的异常类型进行标签化,分别制定清洗或降权策略。
质量治理最佳实践: 建议在数据质量监控平台中为每个异常点记录其“异常类型标签”,便于后续模型迭代与审计追溯。例如,在数据字典中增加字段
outlier_type,取值包括 global、local、collective、contextual。
通过系统化的异常类型分类,风控数据质量团队能够更精准地定位数据问题根源,避免“一刀切”式的清洗导致信息损失,从而在保障数据质量的同时保留有价值的风险信号。