1. 课程导论:异常交易检测的背景与挑战

1.1 异常交易检测的背景与核心挑战

在数字化金融高速发展的今天,交易链路日益复杂,欺诈手段不断升级。异常交易检测已从传统的规则拦截演变为以数据驱动、模型为核心的智能风控体系。然而,实际业务中面临三大核心挑战:

  • 样本极度不平衡:正常交易占比通常超过 99.9%,异常样本(欺诈、盗刷、洗钱)极其稀少,导致模型难以学习有效决策边界。
  • 概念漂移与对抗性:欺诈团伙会主动探测风控规则并调整攻击模式,使得历史样本的分布与未来真实场景存在偏差。
  • 特征工程复杂度高:交易数据包含结构化字段(金额、时间、设备)、序列行为(点击流、转账路径)以及图关系(账户关联网络),单一特征难以刻画异常模式。
关键认知:异常交易检测的本质是在“极低正样本率 + 高代价误报”的约束下,最大化对未知攻击的泛化能力。样本切分与特征工程是解决这一问题的两大基石。

1.2 样本切分与特征工程在风控全链路中的位置

下图展示了风控全链路中从数据接入到决策输出的标准流程,其中样本切分与特征工程位于数据预处理与模型训练之间的核心枢纽位置。

风控全链路核心流程 数据接入 数据清洗 样本切分 特征工程 模型训练 模型评估 决策输出 监控与回捞 本课程核心覆盖区域

从图中可以看出,样本切分决定了训练集、验证集、测试集的时间窗口与分布一致性,直接影响模型对时间序列依赖和概念漂移的适应能力。特征工程则负责将原始交易日志、设备指纹、关系图谱转化为模型可学习的数值化表达,是提升模型区分度的关键环节。

1.3 样本切分与特征工程的核心差异

维度 样本切分 特征工程
目标 构建无偏、时序一致、分布稳定的训练/评估集 提取高区分度、低冗余、可解释的数值化特征
主要方法 时间窗口切分、分层采样、留出法、交叉验证 聚合统计、时序滑窗、图嵌入、设备指纹编码
常见陷阱 数据泄露(未来信息污染)、样本选择偏差 特征穿越、稀疏编码、过拟合噪声
输出产物 train/val/test 数据集划分索引 特征宽表、特征重要性排序、特征存储

1.4 课程目标与学习路径

本课程旨在帮助学员系统掌握异常交易场景下样本切分与特征工程的核心方法论与工业级实践。课程采用“理论 + 代码 + 案例”三合一结构,覆盖以下关键模块:

  1. 样本切分篇:时间序列切分策略、分层采样、对抗验证、数据泄露检测与修复。
  2. 特征工程篇:交易行为特征、设备指纹特征、图关系特征、时序滑窗特征、特征选择与降维。
  3. 实战案例篇:基于真实脱敏数据的全流程演练,包含切分代码、特征流水线、模型评估与回捞分析。
学习建议:建议学员先掌握基础切分策略(时间窗口切分 + 分层采样),再深入特征工程。每章均提供可运行的 Python 代码片段,建议在 Jupyter Notebook 中边学边练。

1.5 课程知识体系总览

下图展示了本课程的核心知识模块及其依赖关系,帮助学员建立全局学习地图。

课程知识体系总览 风控数据基础与 ETL 样本切分策略 数据泄露检测 特征工程流水线 特征选择与降维 全流程实战案例
重要提醒:异常交易检测中,样本切分错误(如使用未来数据切分训练集)会导致模型评估结果严重虚高,上线后效果断崖式下跌。本课程将反复强调“时序一致性”原则,请务必重视。