3. 数据源概览:反洗钱特征工程的原材料
在构建反洗钱特征之前,必须清晰理解数据的来源与特性。不同数据源在时效性、结构化程度、可信度上差异巨大,直接影响特征分层策略与样本构建质量。本章将逐一拆解六大核心数据源:内部交易数据、客户信息数据(CDD/KYC)、外部黑名单数据、工商/税务/司法数据、网络舆情数据,以及它们之间的关联关系。
核心原则: 反洗钱特征的质量上限由数据源决定。内部数据是基石,外部数据是补充,黑名单是底线。特征工程的第一步不是写代码,而是画数据地图。
3.1 数据源全景架构
下图展示了反洗钱数据源的层级关系与数据流向。内部交易与客户数据构成核心层,外部数据在合规校验与风险预警中起关键作用。
3.2 内部交易数据
内部交易数据是反洗钱特征工程的核心资产,通常来自核心银行系统、支付系统或证券交易系统。其特点是高频、高结构化、高可信,是构建交易行为特征的主要来源。
| 数据字段 | 说明 | 特征工程用途 |
|---|---|---|
| 交易流水号 | 唯一标识每笔交易 | 去重、关联 |
| 交易时间 | 精确到秒的时间戳 | 时间序列特征、频次统计 |
| 交易金额 | 交易本币金额 | 金额分布、异常值检测 |
| 交易方向 | 借方/贷方/转入/转出 | 资金流向特征 |
| 交易对手 | 对手方账号/户名 | 对手方风险、关联网络 |
| 交易渠道 | 网银/柜面/ATM/手机银行 | 渠道偏好、异常渠道检测 |
| 交易IP/MAC | 设备与网络标识 | 设备指纹、地理位置异常 |
实战注意: 交易数据通常以“天”为单位批量入库,但特征计算需要滑动窗口(如近7天、近30天)。务必在数据源层保留完整历史流水,避免因数据截断导致特征计算偏差。
3.3 客户信息数据(CDD/KYC)
客户尽职调查(CDD)与了解你的客户(KYC)数据是反洗钱的第一道防线。这类数据更新频率低,但一旦变更往往意味着风险状态变化。
- 身份信息: 姓名、证件类型、证件号码、国籍、出生日期、性别
- 联系方式: 手机号、邮箱、居住地址、通讯地址
- 职业与收入: 职业类型、单位名称、年收入范围、资金来源
- 受益所有人: 股权结构、实际控制人、最终受益人(UBO)
- 风险等级: 初始风险评级、调级记录、调级原因
- 开户信息: 开户时间、开户网点、客户经理
常见陷阱: KYC数据中的“职业”和“收入”字段往往缺失率高、更新滞后。在特征构建时,建议将“缺失”本身作为一个特征状态,而非直接丢弃样本。
3.4 外部黑名单数据
黑名单数据是反洗钱合规的底线,通常包括以下类型:
| 黑名单类型 | 数据来源 | 更新频率 | 匹配方式 |
|---|---|---|---|
| 制裁名单(SDN) | OFAC、联合国、欧盟 | 每日/实时 | 精确匹配+模糊匹配 |
| 通缉/逃犯名单 | 公安部、国际刑警 | 不定期 | 证件号精确匹配 |
| 政治人物(PEP) | 政府公开数据、商业数据库 | 月度 | 姓名+国籍+职务匹配 |
| 负面新闻名单 | 媒体、司法公告 | 周度 | NLP实体识别+关联 |
特征构建技巧: 黑名单匹配结果不应只作为“是/否”二值特征。建议构建“匹配时间距离”、“匹配名单权威等级”、“匹配相似度分数”等连续特征,提升模型区分度。
3.5 工商/税务/司法数据
这类数据主要针对企业客户,是评估企业洗钱风险的重要外部补充。数据通常来自国家企业信用信息公示系统、税务局、中国裁判文书网等公开渠道。
- 工商数据: 注册资本、实缴资本、成立日期、经营范围、股东信息、变更记录
- 税务数据: 纳税等级、欠税记录、税务处罚、异常经营名录
- 司法数据: 涉诉记录、被执行人、失信被执行人、限制高消费、破产清算
这些数据结构化程度中等,但价值密度高。例如,一家企业频繁变更法人代表或注册资本骤减,往往是洗钱风险的前兆。
3.6 网络舆情数据
网络舆情数据是反洗钱特征工程中的“非结构化富矿”。通过爬虫与NLP技术,可以从新闻、论坛、社交媒体中提取风险信号。
| 舆情类型 | 数据示例 | 特征化方法 |
|---|---|---|
| 负面新闻 | "XX公司涉嫌非法集资" | 实体识别+情感分析+时间戳 |
| 论坛讨论 | "XX平台提现困难" | 关键词匹配+热度指数 |
| 社交媒体 | 微博/微信中的举报信息 | 传播链分析+影响力评分 |
| 司法公告 | 法院开庭公告、判决书 | 结构化解析+关联客户库 |
数据质量警告: 舆情数据噪声极大,虚假信息、重复报道、营销软文都会干扰特征质量。建议在特征工程中加入“信息来源可信度权重”和“报道数量去重因子”,避免单一负面事件被重复计数。
3.7 数据源对比与选择策略
在实际项目中,并非所有数据源都能同时获取。下表从五个维度对比各数据源,帮助你在资源受限时做出取舍。
| 数据源 | 结构化程度 | 时效性 | 获取成本 | 特征价值 | 推荐优先级 |
|---|---|---|---|---|---|
| 内部交易数据 | 高 | 高(实时/准实时) | 低(自有) | 极高 | ★★★★★ |
| 客户信息(CDD/KYC) | 高 | 低(静态) | 低(自有) | 高 | ★★★★★ |
| 外部黑名单 | 高 | 中(日/周更新) | 中(采购/免费) | 极高(合规必需) | ★★★★★ |
| 工商/税务/司法 | 中 | 低(月/季度更新) | 中(API/爬虫) | 高 | ★★★★ |
| 网络舆情 | 低(非结构化) | 高(实时) | 高(NLP处理) | 中(噪声大) | ★★★ |