3. 数据源概览:反洗钱特征工程的原材料

在构建反洗钱特征之前,必须清晰理解数据的来源与特性。不同数据源在时效性、结构化程度、可信度上差异巨大,直接影响特征分层策略与样本构建质量。本章将逐一拆解六大核心数据源:内部交易数据、客户信息数据(CDD/KYC)、外部黑名单数据、工商/税务/司法数据、网络舆情数据,以及它们之间的关联关系。

核心原则: 反洗钱特征的质量上限由数据源决定。内部数据是基石,外部数据是补充,黑名单是底线。特征工程的第一步不是写代码,而是画数据地图。

3.1 数据源全景架构

下图展示了反洗钱数据源的层级关系与数据流向。内部交易与客户数据构成核心层,外部数据在合规校验与风险预警中起关键作用。

反洗钱数据源全景架构 核心内部数据层 内部交易数据 客户信息(CDD/KYC) 交易流水、账户余额、交易对手 身份信息、证件、受益所有人 特征:高频、高结构化、高可信 外部补充数据层 工商/税务/司法 网络舆情数据 企业股权、法人、涉诉、行政处罚 新闻、论坛、社交媒体负面信息 特征:低频、半结构化、高价值 外部黑名单数据(制裁/通缉/政治人物) 特征:高权威、低频率、强触发、必须实时校验 数据融合要点: 1. 内部交易数据与CDD数据通过客户ID关联;2. 外部数据通过证件号/统一社会信用代码关联; 3. 黑名单数据需独立存储并实时比对;4. 舆情数据需NLP处理后转化为结构化标签。

3.2 内部交易数据

内部交易数据是反洗钱特征工程的核心资产,通常来自核心银行系统、支付系统或证券交易系统。其特点是高频、高结构化、高可信,是构建交易行为特征的主要来源。

数据字段 说明 特征工程用途
交易流水号 唯一标识每笔交易 去重、关联
交易时间 精确到秒的时间戳 时间序列特征、频次统计
交易金额 交易本币金额 金额分布、异常值检测
交易方向 借方/贷方/转入/转出 资金流向特征
交易对手 对手方账号/户名 对手方风险、关联网络
交易渠道 网银/柜面/ATM/手机银行 渠道偏好、异常渠道检测
交易IP/MAC 设备与网络标识 设备指纹、地理位置异常
实战注意: 交易数据通常以“天”为单位批量入库,但特征计算需要滑动窗口(如近7天、近30天)。务必在数据源层保留完整历史流水,避免因数据截断导致特征计算偏差。

3.3 客户信息数据(CDD/KYC)

客户尽职调查(CDD)与了解你的客户(KYC)数据是反洗钱的第一道防线。这类数据更新频率低,但一旦变更往往意味着风险状态变化。

  • 身份信息: 姓名、证件类型、证件号码、国籍、出生日期、性别
  • 联系方式: 手机号、邮箱、居住地址、通讯地址
  • 职业与收入: 职业类型、单位名称、年收入范围、资金来源
  • 受益所有人: 股权结构、实际控制人、最终受益人(UBO)
  • 风险等级: 初始风险评级、调级记录、调级原因
  • 开户信息: 开户时间、开户网点、客户经理
常见陷阱: KYC数据中的“职业”和“收入”字段往往缺失率高、更新滞后。在特征构建时,建议将“缺失”本身作为一个特征状态,而非直接丢弃样本。

3.4 外部黑名单数据

黑名单数据是反洗钱合规的底线,通常包括以下类型:

黑名单类型 数据来源 更新频率 匹配方式
制裁名单(SDN) OFAC、联合国、欧盟 每日/实时 精确匹配+模糊匹配
通缉/逃犯名单 公安部、国际刑警 不定期 证件号精确匹配
政治人物(PEP) 政府公开数据、商业数据库 月度 姓名+国籍+职务匹配
负面新闻名单 媒体、司法公告 周度 NLP实体识别+关联
特征构建技巧: 黑名单匹配结果不应只作为“是/否”二值特征。建议构建“匹配时间距离”、“匹配名单权威等级”、“匹配相似度分数”等连续特征,提升模型区分度。

3.5 工商/税务/司法数据

这类数据主要针对企业客户,是评估企业洗钱风险的重要外部补充。数据通常来自国家企业信用信息公示系统、税务局、中国裁判文书网等公开渠道。

  • 工商数据: 注册资本、实缴资本、成立日期、经营范围、股东信息、变更记录
  • 税务数据: 纳税等级、欠税记录、税务处罚、异常经营名录
  • 司法数据: 涉诉记录、被执行人、失信被执行人、限制高消费、破产清算

这些数据结构化程度中等,但价值密度高。例如,一家企业频繁变更法人代表或注册资本骤减,往往是洗钱风险的前兆。

3.6 网络舆情数据

网络舆情数据是反洗钱特征工程中的“非结构化富矿”。通过爬虫与NLP技术,可以从新闻、论坛、社交媒体中提取风险信号。

舆情类型 数据示例 特征化方法
负面新闻 "XX公司涉嫌非法集资" 实体识别+情感分析+时间戳
论坛讨论 "XX平台提现困难" 关键词匹配+热度指数
社交媒体 微博/微信中的举报信息 传播链分析+影响力评分
司法公告 法院开庭公告、判决书 结构化解析+关联客户库
数据质量警告: 舆情数据噪声极大,虚假信息、重复报道、营销软文都会干扰特征质量。建议在特征工程中加入“信息来源可信度权重”和“报道数量去重因子”,避免单一负面事件被重复计数。

3.7 数据源对比与选择策略

在实际项目中,并非所有数据源都能同时获取。下表从五个维度对比各数据源,帮助你在资源受限时做出取舍。

数据源 结构化程度 时效性 获取成本 特征价值 推荐优先级
内部交易数据 高 高(实时/准实时) 低(自有) 极高 ★★★★★
客户信息(CDD/KYC) 高 低(静态) 低(自有) 高 ★★★★★
外部黑名单 高 中(日/周更新) 中(采购/免费) 极高(合规必需) ★★★★★
工商/税务/司法 中 低(月/季度更新) 中(API/爬虫) 高 ★★★★
网络舆情 低(非结构化) 高(实时) 高(NLP处理) 中(噪声大) ★★★