3. 样本构建基础:样本的定义、正样本与负样本的概念、样本构建在模型生命周期中的位置
在交易风控建模中,样本构建是连接原始业务数据与机器学习模型的核心桥梁。一个风控模型的性能上限,往往在样本构建完成的那一刻就已经被决定。本章将系统阐述样本的基本定义、正负样本的划分逻辑,以及样本构建在整个模型生命周期中的战略位置。
3.1 样本的定义与核心要素
在交易风控场景下,样本是指一条用于模型训练或评估的、包含特征(Feature)与标签(Label)的结构化数据记录。每条样本对应一次交易行为或一个时间窗口内的账户行为。
| 要素 | 说明 | 风控示例 |
|---|---|---|
| 样本 ID | 唯一标识一条样本 | 交易流水号 TXN20250321001 |
| 特征(X) | 描述交易或账户属性的变量 | 交易金额、IP 归属地、设备指纹、历史拒付率 |
| 标签(Y) | 样本的真实结果,模型预测的目标 | 是否欺诈(1/0)、是否逾期(1/0) |
| 时间戳 | 样本对应事件的发生时间 | 交易时间 2025-03-21 14:30:00 |
| 权重 | 样本在训练中的重要性(可选) | 高金额交易样本权重 = 2.0 |
实践要点:每条样本必须保证特征与标签在时间上严格对齐——特征只能使用标签时刻之前已知的信息,严禁使用未来信息构造特征(即“时间穿越”),这是风控建模中最常见也最致命的错误。
3.2 正样本与负样本的概念
在二分类风控模型中,样本根据标签值分为两类:
- 正样本(Positive Sample):标签 Y = 1,代表发生了风控关注的风险事件。例如:欺诈交易、账户盗用、逾期还款、洗钱行为等。
- 负样本(Negative Sample):标签 Y = 0,代表正常或未发生风险事件。例如:正常消费交易、按时还款、合规转账等。
正负样本的界定并非一成不变,需要根据业务目标和风控策略进行明确定义。以下表格展示了不同风控场景下的正负样本定义差异:
| 风控场景 | 正样本(Y=1) | 负样本(Y=0) | 定义关键点 |
|---|---|---|---|
| 支付欺诈检测 | 经核实为欺诈的交易 | 正常交易或持卡人未争议的交易 | 需等待争议期(通常 30-90 天) |
| 信贷申请反欺诈 | 确认的骗贷或身份冒用申请 | 正常通过且按时还款的申请 | 需结合贷后表现进行标签回溯 |
| 账户盗用检测 | 用户主动上报或系统确认的盗用事件 | 用户正常登录和操作的会话 | 需排除用户误报情况 |
| 交易反洗钱 | 监管或内部认定的可疑交易 | 正常合规交易 | 定义需符合监管法规要求 |
常见陷阱:正样本的定义不能过于宽泛(如将“人工审核中”直接标记为欺诈),也不能过于严格(如只将“已立案”作为正样本)。定义偏差会直接导致模型学习到错误的模式,造成“假阳性”或“假阴性”泛滥。
3.3 样本构建在模型生命周期中的位置
样本构建并非孤立的数据处理步骤,而是贯穿模型生命周期多个阶段的核心活动。下图展示了样本构建在风控模型全流程中的位置与作用:
3.4 样本构建的核心流程
样本构建并非简单的“打标签”,而是一套包含多个子步骤的工程流程。以下是一个标准的风控样本构建流程:
- 定义样本空间:确定样本的覆盖范围(如:所有线上支付交易、所有信贷申请),以及样本的时间窗口(如:近 12 个月的数据)。
- 确定标签规则:与业务方对齐正样本的判定标准,形成可执行的标签映射逻辑(如:交易后 60 天内发生拒付则标记为欺诈)。
- 数据关联与拼接:将交易流水、用户信息、设备信息、历史行为等多源数据按样本 ID 进行关联,形成宽表。
- 标签标注:根据标签规则,为每条样本赋予 Y 值(0 或 1)。此步骤需要处理“未成熟样本”(即尚未到达观察期的样本)。
- 样本清洗:剔除无效样本(如测试数据、重复数据)、处理缺失值、过滤异常时间点数据。
- 样本划分:将构建好的样本集划分为训练集、验证集和测试集,通常按时间顺序划分(如:前 80% 时间数据训练,后 20% 测试)。
样本划分黄金法则:在风控建模中,永远不要使用随机划分!必须按照时间顺序划分训练集和测试集,以模拟模型在真实线上环境中的表现。使用未来数据训练、过去数据测试会导致模型性能被严重高估。
3.5 样本构建的常见挑战
| 挑战 | 描述 | 应对策略 |
|---|---|---|
| 样本不平衡 | 正样本(欺诈)占比极低,通常 < 1% | 过采样(SMOTE)、欠采样、代价敏感学习 |
| 标签延迟 | 欺诈确认需要等待争议期(30-90 天) | 使用“伪标签”或分阶段标注策略 |
| 样本偏差 | 历史样本无法代表未来攻击模式 | 引入时间衰减权重、定期更新样本 |
| 数据质量 | 缺失值、异常值、重复样本 | 建立数据质量监控规则和清洗管线 |
| 样本泄露 | 特征中包含了未来信息或标签信息 | 严格按时间线构建特征,进行泄露检测 |
样本构建是风控建模中最需要“工匠精神”的环节。一个精心构建的样本集,可以让后续的模型训练事半功倍;反之,粗糙的样本构建会让再先进的算法也无能为力。在接下来的章节中,我们将深入探讨样本构建的具体技术细节与最佳实践。