2. 反欺诈基础概念

在构建反欺诈系统之前，必须清晰定义所要对抗的欺诈类型、特征工程的核心思想以及模型评估的量化标准。本章将围绕这三个基石展开，为后续的 LightGBM 建模与 Kafka 回放链路打下理论基础。

2.1 欺诈类型

金融与互联网场景中的欺诈行为可归纳为三大核心类型，每种类型在行为模式、数据分布和业务影响上存在显著差异。

欺诈类型 核心定义 典型行为 业务影响
账户盗用 攻击者通过非法手段获取用户账户凭证，冒充真实用户进行操作。 异地登录、频繁修改绑定信息、短时间内大量查询余额或历史交易。 用户资金损失、账户冻结、客诉激增、平台信任度下降。
交易欺诈 在交易环节中利用虚假身份、盗用卡信息或绕过风控规则完成非法支付。 小额试探后大额转出、使用虚拟信用卡、IP 与收货地址不匹配。 直接资金损失、拒付率上升、支付通道被卡组织处罚。
薅羊毛 利用平台营销活动规则漏洞，通过批量注册、虚假设备、脚本自动化等手段套取优惠。 同一设备关联多个账号、IP 集中、注册时间高度聚集、仅参与补贴活动。 营销预算浪费、真实用户无法享受福利、数据指标失真。
实战提示： 在风控系统设计初期，建议按“账户层 → 交易层 → 营销层”的优先级顺序部署监控规则。账户盗用往往是交易欺诈和薅羊毛的前置步骤，守住账户安全可有效降低后续风险。

2.2 特征工程基本思想

特征工程是将原始数据转化为模型可理解的特征向量的过程。在反欺诈场景中，特征工程的核心目标是放大正常行为与欺诈行为之间的差异。

特征工程通常遵循以下步骤：

  1. 数据清洗： 处理缺失值、异常值、重复数据。例如，IP 地址字段中出现的 “0.0.0.0” 或空字符串需要统一处理。
  2. 特征构建： 基于业务理解生成新特征。常见方法包括：
    • 统计特征： 过去 1 小时/24 小时/7 天内同一用户的登录次数、交易金额均值、标准差。
    • 时序特征： 相邻两次操作的时间间隔、操作时间是否在凌晨 2-5 点。
    • 聚合特征： 同一设备关联的账号数量、同一 IP 关联的收货地址数量。
    • 比率特征： 提现金额 / 账户余额、失败登录次数 / 总登录次数。
  3. 特征编码： 将类别型特征（如设备型号、城市、浏览器类型）转换为数值型。常用方法包括 Label Encoding、One-Hot Encoding 以及针对高基数特征的 Target Encoding。
  4. 特征选择： 剔除冗余或噪声特征，降低模型过拟合风险。常用方法包括基于相关性的过滤法、基于 LightGBM 特征重要性的包裹法。
反欺诈特征设计原则： 优先构建“行为对比类”特征。例如，当前交易金额 / 用户历史平均交易金额 比单纯的 交易金额 更能反映异常波动。对比特征天然具备跨用户的可比性，对模型泛化能力提升显著。
特征工程核心流程 原始数据 数据清洗 特征构建 特征编码 特征选择 训练特征集 缺失值 / 异常值处理 Label / One-Hot / Target

2.3 模型评估指标

反欺诈模型通常面临严重的样本不平衡问题（欺诈样本占比往往低于 1%）。因此，准确率（Accuracy）不能作为主要评估指标。以下三个指标是业界最核心的评估标准。

2.3.1 KS（Kolmogorov-Smirnov）统计量

KS 衡量模型区分正负样本的能力。其计算方式为：将样本按模型预测概率从高到低排序，计算每个分箱内正样本累计占比与负样本累计占比之差的最大值。

  • 取值范围： [0, 1]。
  • 业务解读：
    • KS < 0.2：模型区分能力弱，基本不可用。
    • 0.2 ≤ KS < 0.4：模型有一定区分能力，可接受。
    • 0.4 ≤ KS < 0.6：模型区分能力强，效果优秀。
    • KS ≥ 0.6：需警惕过拟合，通常需要结合其他指标综合判断。
  • 反欺诈场景： KS 常用于监控模型在时间窗口内的稳定性。如果线上 KS 相比训练集 KS 出现大幅下降，通常意味着数据分布发生偏移或欺诈手法已迭代。

2.3.2 AUC（Area Under the ROC Curve）

AUC 衡量模型在不同阈值下的综合表现，等价于随机抽取一个正样本和一个负样本，模型将正样本排在负样本前面的概率。

  • 取值范围： [0, 1]，0.5 表示随机猜测，1 表示完美分类。
  • 反欺诈场景： AUC 对样本不平衡不敏感，适合作为离线训练的主优化目标。但在线上部署时，AUC 的提升并不直接等价于业务损失降低，需要结合业务阈值下的精确率与召回率进行决策。

2.3.3 召回率（Recall）

召回率衡量模型识别出真实欺诈样本的能力。计算公式为：

Recall = TP / (TP + FN)

其中：
TP（True Positive）：正确识别为欺诈的样本数
FN（False Negative）：漏报的欺诈样本数
  • 反欺诈场景： 召回率是风控团队最关注的指标之一。一个低召回率的模型意味着大量欺诈交易未被拦截，将直接导致资金损失。通常业务方会设定一个最低召回率目标（如 85%），在此约束下追求更高的精确率以减少误伤。
指标联动分析： 不要孤立地看单个指标。例如，AUC 很高但召回率很低，说明模型虽然整体排序能力强，但在当前阈值下漏掉了大量欺诈样本。此时应调整阈值或重新评估模型在低概率区间的表现。建议在模型监控看板上同时展示 KS、AUC、Recall@5%（即拒绝前 5% 高概率样本时的召回率）三个指标。
核心评估指标对比 KS 统计量 区分正负样本能力 最大累计占比差 关注排序能力 对分布偏移敏感 阈值: 0.2 / 0.4 / 0.6 AUC 综合排序质量 ROC 曲线下面积 对不平衡不敏感 离线优化主目标 阈值: 0.5 / 0.7 / 0.9 召回率 欺诈捕获能力 TP / (TP + FN) 直接关联资金损失 业务方核心关注 阈值: 70% / 85% / 95%

2.4 小结

本章覆盖了反欺诈系统的三个基础概念层：

  • 欺诈类型 决定了特征设计和模型策略的侧重点。账户盗用侧重行为序列异常，交易欺诈侧重金额与设备关联，薅羊毛侧重群体聚集性。
  • 特征工程 是模型效果的上限来源。在反欺诈场景中，对比类特征和聚合类特征往往比原始字段提供更强的区分信号。
  • 评估指标 是模型选型和上线的决策依据。KS 用于监控稳定性，AUC 用于离线优化，召回率用于业务对齐。三者缺一不可。
← 上一章 📖 返回目录 下一章 →