3. 异常值定义与分类：全局异常点、局部异常点、上下文异常点、集体异常点在风控中的典型表现
在风控数据清洗与质量优化中，准确识别异常值是构建稳健风控模型的前提。异常值并非简单的“离群点”，其定义依赖于数据分布、业务场景和上下文关系。本章将系统阐述四种核心异常值类型——全局异常点、局部异常点、上下文异常点和集体异常点，并结合风控场景给出典型表现与识别策略。
3.1 异常值的核心定义与分类框架
异常值（Anomaly）是指数据中显著偏离预期模式或大多数观测值的样本点。根据异常点与周围数据点的关系及其作用范围，学术界与工业界将其划分为以下四类：
| 异常类型 | 核心定义 | 风控典型场景 | 识别难度 |
|---|---|---|---|
| 全局异常点 | 在整个数据集中显著偏离整体分布的单个点 | 单笔交易金额远超正常范围（如单笔100万） | 低 |
| 局部异常点 | 在局部邻域中偏离，但在全局分布中可能正常 | 用户月消费5000元，但其社交圈平均消费仅500元 | 中 |
| 上下文异常点 | 在特定上下文（时间、空间、序列）中异常，其他上下文正常 | 凌晨3点的大额转账（用户历史无夜间交易） | 中高 |
| 集体异常点 | 一组数据点整体偏离，但单个点可能正常 | 短时间内同一设备批量注册账户（团伙欺诈） | 高 |
数据清洗提示： 在风控数据预处理阶段，建议按“全局→局部→上下文→集体”的优先级顺序进行异常筛查。全局异常点最容易通过IQR或Z-Score检出，而集体异常点往往需要图算法或序列模式挖掘才能发现。
3.2 全局异常点（Global Anomaly）
全局异常点是最直观的异常类型，指在整个数据集中明显偏离大多数样本的极端值。在风控领域，这类异常通常对应明显的欺诈行为或数据录入错误。
3.2.1 风控典型表现
- 交易金额极端值： 单笔转账金额超过该产品历史99.9%分位数（如正常用户单笔不超过5万，某笔交易达200万）。
- 年龄/身份信息异常： 用户年龄填写为200岁，或身份证号校验位错误。
- 频率极端值： 某IP地址在1分钟内发起1000次登录请求（远超正常用户行为）。
- 设备参数异常： 设备指纹中屏幕分辨率显示为0×0或负值。
3.2.2 常用识别方法
- 统计阈值法： 基于均值±3σ、IQR（Q1-1.5×IQR, Q3+1.5×IQR）设定硬阈值。
- Z-Score标准化： 计算每个样本的Z分数，|Z|>3视为全局异常。
- 孤立森林（Isolation Forest）： 通过随机切割快速隔离异常点，适合高维数据。
案例： 某消费信贷平台在贷前数据清洗时，发现一笔申请中“月收入”字段填写为9999999元，而该平台用户平均月收入为8000元。该值通过IQR方法（Q3+1.5×IQR=35000元）被判定为全局异常点，最终确认为测试数据未清理干净，直接剔除。
3.3 局部异常点（Local Anomaly）
局部异常点是指相对于其局部邻域而言偏离程度较大的点，但在全局分布中可能处于正常范围。这类异常在风控中极具隐蔽性，常被用于发现“伪装型”欺诈行为。
3.3.1 风控典型表现
- 社交网络中的异常行为： 某用户的消费金额（5000元）在全局中属于正常水平，但其所有社交好友的平均消费仅为500元，该用户在其社交圈中属于局部异常。
- 区域化交易异常： 某地区正常客单价为50-100元，某商户突然出现大量500元订单，虽然500元在全局中不算极端，但在该地区局部属于异常。
- 设备指纹局部异常： 同一设备上关联了50个账户，而该设备所在网络环境中的平均关联账户数为2个。
3.3.2 常用识别方法
- LOF（Local Outlier Factor）： 计算样本点与其k近邻的局部密度比值，LOF>1.5通常视为局部异常。
- DBSCAN聚类： 将密度低的点标记为噪声，天然支持局部异常检测。
- k近邻距离法： 计算样本到第k个最近邻的距离，距离显著大于邻域内其他点则标记异常。
注意： 局部异常点容易被全局阈值方法漏检。例如，使用全局Z-Score时，局部异常点的Z值可能仅为1.5（远低于3的阈值），但LOF值可能高达3.0。在风控数据清洗中，建议对社交网络、区域交易等场景优先使用局部异常检测算法。
3.4 上下文异常点（Contextual Anomaly）
上下文异常点是指在特定上下文条件下表现异常，但在其他上下文中完全正常的点。上下文通常包括时间、空间、序列位置或业务状态。这类异常是风控中识别“时机型”欺诈的核心手段。
3.4.1 风控典型表现
| 上下文维度 | 正常行为 | 上下文异常行为 | 风控含义 |
|---|---|---|---|
| 时间上下文 | 用户交易集中在9:00-22:00 | 凌晨3:00发起大额转账 | 账户盗用或非本人操作 |
| 空间上下文 | 用户常驻地在北京 | 10分钟前在北京登录，现在在洛杉矶交易 | 地理位置跳跃（盗刷） |
| 序列上下文 | 用户行为序列：登录→浏览→下单→支付 | 直接进入支付页面（跳过浏览和下单） | 自动化脚本或撞库攻击 |
| 业务状态上下文 | 新用户首笔交易金额<1000元 | 新用户首笔交易金额50000元 | 欺诈风险或洗钱嫌疑 |
3.4.2 常用识别方法
- 时间序列分解： 将数据分解为趋势、季节性和残差，残差中的极端值即为上下文异常。
- 滑动窗口统计： 在固定时间窗口内计算均值与标准差，当前值偏离窗口均值超过3σ则标记。
- 行为序列模式挖掘： 使用马尔可夫链或LSTM建模正常行为序列，预测概率低的序列视为异常。
案例： 某支付平台发现一笔交易金额为1500元，该金额在全局中完全正常（全局均值1200元）。但结合上下文分析发现：该用户过去6个月从未在凌晨1:00-5:00有过交易，且该笔交易的IP地址位于境外。该交易被判定为上下文异常点，触发二次验证后确认为盗刷。
3.5 集体异常点（Collective Anomaly）
集体异常点是指一组数据点作为一个整体表现出异常模式，但其中每个单独的点可能完全正常。这类异常是风控中识别“团伙欺诈”、“机器批量攻击”和“关联性风险”的关键。
3.5.1 风控典型表现
- 设备关联团伙： 100个账户共享同一设备指纹，每个账户单独看行为正常（小额交易、正常登录），但整体上100个账户共用一台设备明显异常。
- 时间聚集性攻击： 50个账户在10分钟内集中申请贷款，每个账户的申请信息完整且真实，但时间聚集性表明是团伙操作。
- 资金链闭环： 一组账户之间形成资金闭环（A→B→C→A），单笔转账金额正常，但闭环结构异常。
- IP聚集异常： 200个账户来自同一个C段IP地址，每个账户的注册时间间隔均匀，疑似机器注册。
3.5.2 常用识别方法
- 图异常检测： 构建设备-账户-IP关联图，使用社区发现算法（如Louvain）检测异常聚集子图。
- 序列模式挖掘： 使用PrefixSpan或SPADE算法发现频繁子序列，与正常模式对比。
- 密度聚类（DBSCAN/HDBSCAN）： 在时间-空间-设备多维空间中聚类，小且密集的簇可能为集体异常。
- 关联规则挖掘： 发现“设备A→账户B→IP C”的强关联规则，规则置信度异常高时提示集体异常。
风控数据清洗要点： 集体异常点不能通过单点清洗（如删除单个异常值）解决。正确的做法是：先通过图算法或聚类识别异常群体，然后对整个群体进行标记、隔离或降权处理。直接删除单个点会破坏群体结构，导致漏检。
3.6 四种异常类型的对比与风控选择策略
在实际风控数据清洗中，不同异常类型需要匹配不同的检测算法和清洗策略。下表总结了四类异常的核心差异与推荐方法：
| 对比维度 | 全局异常点 | 局部异常点 | 上下文异常点 | 集体异常点 |
|---|---|---|---|---|
| 检测粒度 | 单点 | 单点（依赖邻域） | 单点（依赖上下文） | 群体（多个点） |
| 全局分布依赖 | 高 | 低 | 中 | 低 |
| 计算复杂度 | O(n) | O(n²)（需k近邻） | O(n×w)（w为窗口大小） | O(n²)~O(n³)（图算法） |
| 风控适用场景 | 数据录入错误、极端欺诈 | 社交网络欺诈、区域异常 | 时序欺诈、位置跳跃 | 团伙欺诈、机器批量攻击 |
| 推荐算法 | IQR, Z-Score, 孤立森林 | LOF, DBSCAN, kNN | 滑动窗口, 时间序列分解, LSTM | 图社区发现, 密度聚类, 关联规则 |
| 清洗策略 | 直接删除或修正 | 标记降权或局部修正 | 上下文验证后处理 | 群体隔离或整体降权 |
最佳实践： 在风控数据质量优化项目中，建议采用“分层检测”策略：第一层用全局方法快速过滤明显异常；第二层用局部方法发现隐蔽异常；第三层结合上下文和集体方法识别复杂欺诈模式。每层检测结果需经过业务专家复核，避免误杀正常数据。
3.7 本章小结
- 全局异常点：最易识别，适合用统计阈值法快速清洗，对应明显欺诈或数据错误。
- 局部异常点：隐蔽性强，依赖邻域密度分析，适合社交网络和区域化风控场景。
- 上下文异常点：结合时间、空间、序列等上下文信息，是识别“时机型”欺诈的核心。
- 集体异常点：检测难度最高，需要图算法或聚类方法，是团伙欺诈检测的关键。
- 数据清洗策略：不同异常类型需匹配不同的检测算法和清洗动作，不可一刀切。