2. 异常检测基础理论
在构建异常交易检测系统之前，必须建立对“异常”本身的清晰定义。金融交易中的异常并非简单的“与众不同”，而是指那些在统计分布、业务逻辑或时间序列上显著偏离正常模式的观测值。本章将系统阐述异常的核心类型、检测面临的主要技术难点，为后续样本构建与模型选型奠定理论基础。
2.1 异常类型
根据异常数据点与其上下文的关系，学术界将异常分为三类：点异常、上下文异常和集体异常。理解这三类异常是设计特征工程和选择检测算法的前提。
| 异常类型 | 定义 | 金融交易示例 | 典型检测方法 |
|---|---|---|---|
| 点异常 | 单个数据点相对于全局数据分布表现出显著偏离 | 单笔交易金额突然达到 100 万（用户历史均值 5000） | Z-Score、孤立森林、LOF |
| 上下文异常 | 在特定上下文（时间、空间、序列）中异常，但在全局中可能正常 | 凌晨 3 点从异地登录并完成大额转账（时间+空间上下文） | 时间序列分解、LSTM-Autoencoder |
| 集体异常 | 一组数据点整体行为异常，但单个点可能正常 | 短时间内连续多笔小额试探交易后跟一笔大额转账（洗钱模式） | 序列模式挖掘、图神经网络 |
实战提示：在真实风控系统中，约 70% 的欺诈交易属于集体异常或上下文异常，而非简单的点异常。仅依赖全局阈值（如金额 > 3σ）会漏掉大量结构化欺诈。
2.2 检测难点
金融异常检测系统在实际落地中面临三大核心挑战：类别不平衡、概念漂移和标注成本高。这些难点直接影响样本构建策略和模型评估方式。
2.2.1 类别不平衡
在真实交易流水中，正常交易占比通常超过 99.9%，而欺诈交易往往低于 0.1%。这种极端的类别不平衡会导致传统分类器倾向于将所有样本预测为多数类（正常），从而获得看似很高的准确率，但实际检测能力为零。
关键数据：某支付平台 2023 年数据显示，日交易量 5000 万笔，欺诈交易约 3000 笔，正负样本比约为 1:16,667。如果不做任何处理，模型只需预测“全部正常”即可达到 99.994% 的准确率。
应对类别不平衡的常用策略包括：
- 数据层面：随机欠采样多数类、SMOTE 过采样少数类、生成对抗网络（GAN）合成异常样本。
- 算法层面：使用代价敏感学习（如加权损失函数）、异常检测算法（如孤立森林、One-Class SVM）。
- 评估层面：放弃准确率，改用 Precision-Recall 曲线、F1-Score、Recall@K 等指标。
2.2.2 概念漂移
欺诈分子的攻击手法不断进化，同时正常用户的消费习惯也会随季节、促销活动、经济环境变化。这种数据分布随时间变化的现象称为概念漂移。概念漂移会导致模型在部署后性能逐渐下降，需要持续监控和更新。
| 漂移类型 | 描述 | 金融场景示例 | 应对策略 |
|---|---|---|---|
| 突发漂移 | 数据分布在短时间内剧烈变化 | 某支付通道被黑产集中攻击，短时间内异常率从 0.01% 飙升到 5% | 实时监控告警 + 模型快速回滚 |
| 渐进漂移 | 数据分布随时间缓慢变化 | 用户逐渐习惯使用小额免密支付，平均交易金额逐年下降 | 定期增量训练 + 滑动窗口特征 |
| 周期性漂移 | 数据分布呈现周期性规律 | 双十一期间交易量暴增，正常交易模式与平日显著不同 | 引入时间特征 + 分时段模型 |
2.2.3 标注成本高
异常交易标注依赖资深风控专家逐笔审核，成本极高。一个中型支付平台每天产生数千万笔交易，人工标注覆盖率通常不足 0.01%。这导致两个直接后果：
- 标注样本稀疏：可用于监督学习的正样本数量极少，模型难以学习到完整的欺诈模式。
- 标注噪声：不同审核员对“可疑”的判定标准不一致，部分标注可能存在错误。
常见误区：很多团队试图通过“众包标注”或“规则自动标注”来扩大样本量。但自动标注会引入确认偏差——模型会强化已有规则发现的模式，而漏掉真正的新型欺诈。建议将自动标注结果仅作为弱标签，配合半监督学习或 PU Learning（Positive-Unlabeled Learning）使用。
降低标注成本的工程化手段包括：
- 主动学习：模型筛选出最不确定的样本交给专家标注，用最少标注量最大化模型收益。
- 弱监督学习：利用业务规则、知识图谱、设备指纹等弱信号生成伪标签。
- 迁移学习：在公开数据集或相似业务上预训练，再在少量标注数据上微调。