2. 原始数据接入:风控系统常见数据源及接入规范
原始数据接入是风控特征工程的起点。在模型训练之前,必须明确数据从哪些系统来、以什么格式传输、如何校验质量。风控系统通常接入四类核心数据源:征信数据、第三方数据、埋点行为数据和设备指纹数据。每一类在时效性、结构化程度、合规要求上差异显著,接入规范必须分别设计。
2.1 四类数据源概览
| 数据源类型 | 典型内容 | 更新频率 | 结构化程度 | 合规敏感度 |
|---|---|---|---|---|
| 征信数据 | 央行征信报告、百行征信、朴道征信 | T+1 ~ 月 | 半结构化(XML/JSON) | 极高(需授权) |
| 第三方数据 | 多头借贷、黑名单、运营商、电商、社保 | 实时 ~ T+1 | 结构化(JSON/CSV) | 高(需协议) |
| 埋点行为数据 | 页面浏览、点击、停留时长、输入事件 | 实时(流式) | 半结构化(JSON/Protobuf) | 中(需隐私声明) |
| 设备指纹数据 | IMEI/IDFA、MAC、IP、屏幕分辨率、传感器 | 实时 | 结构化(JSON) | 高(需权限) |
接入原则:征信和第三方数据以“查询-响应”模式为主,埋点和设备指纹以“上报-采集”模式为主。两类模式在接口设计、超时处理、幂等性要求上完全不同,接入规范必须区分对待。
2.2 征信数据接入规范
征信数据是风控模型最核心的强变量来源,但接入门槛最高。央行征信报告通常以加密XML或PDF加密包形式返回,百行/朴道等市场化征信机构则提供标准JSON接口。
- 接口协议:HTTPS + 双向证书认证,报文使用AES-256或SM4加密。
- 请求字段:姓名、身份证号、授权码(用户签署的电子授权Token)、查询原因码。
- 响应字段:身份信息、信贷汇总、逾期明细、查询记录、公共记录(法院/税务)。
- 超时设置:连接超时5s,读取超时15s,重试次数≤2(需幂等)。
- 存储规范:原始报文加密存储,解密后特征提取在安全沙箱内完成,日志脱敏。
// 征信查询请求示例(简化)
{
"header": {
"version": "2.0",
"txnId": "202503211234567890",
"timestamp": "2025-03-21T14:30:00+08:00"
},
"body": {
"name": "张三",
"idNumber": "110101199001011234",
"authCode": "AUTH202503210001",
"queryReason": "01" // 01=贷款审批
}
}
2.3 第三方数据接入规范
第三方数据源种类繁多,包括多头借贷、黑名单、运营商、电商、社保公积金等。接入时需统一管理数据源路由和字段映射。
| 数据源类别 | 典型供应商 | 接入方式 | 关键字段 | 质量校验点 |
|---|---|---|---|---|
| 多头借贷 | 同盾、百融 | HTTP POST JSON | 近7天/30天申请次数 | 去重、时效性 |
| 黑名单 | 官方/行业共享 | HTTP GET + 加密参数 | 命中标记、命中时间 | 数据新鲜度 |
| 运营商 | 中国移动/联通/电信 | SDK + 授权页 | 在网时长、通话活跃度 | 授权有效期 |
| 电商/社保 | 京东、支付宝、各地社保局 | OAuth2.0 + 爬虫/API | 消费等级、缴费基数 | 字段缺失率 |
接入规范要点:
- 所有第三方接口必须配置熔断降级策略:连续失败5次后暂停调用30s。
- 响应字段使用统一命名规范:如
thd_multi_7d_cnt、thd_black_hit_flag。 - 每个数据源单独配置超时阈值和重试次数,避免单源阻塞整体流程。
2.4 埋点行为数据接入规范
埋点数据反映用户在申请流程中的实时行为,是构建反欺诈模型和行为评分卡的重要输入。埋点通常以客户端SDK采集,经消息队列(Kafka)传输到数据湖。
- 采集方式:全埋点(自动采集所有页面事件)+ 自定义埋点(关键按钮、输入框)。
- 传输协议:HTTPS + Protobuf 序列化,减少带宽占用。
- 关键事件:页面加载、点击、输入、粘贴、切换、提交、验证码请求。
- 时间戳规范:统一使用UTC毫秒时间戳,客户端与服务端时间差超过30s的标记为异常。
- 数据质量:缺失率>5%的字段自动告警,session_id 为空的数据直接丢弃。
// 埋点事件上报格式(Protobuf 定义片段)
message BehaviorEvent {
string session_id = 1;
string user_id = 2;
string event_type = 3; // page_view, click, input, paste
string page_id = 4;
int64 timestamp_ms = 5;
map<string, string> properties = 6; // 自定义属性
string device_fingerprint = 7;
}
2.5 设备指纹数据接入规范
设备指纹用于识别设备唯一性、检测模拟器/改机工具、关联团伙欺诈。接入时需平衡采集深度与用户隐私。
| 采集层级 | 字段示例 | 权限要求 | 稳定性 |
|---|---|---|---|
| 基础层 | IP、User-Agent、屏幕宽高、语言 | 无 | 高 |
| 标识层 | IMEI、IDFA、OAID、MAC | 需用户授权 | 中(可重置) |
| 环境层 | 是否Root、是否模拟器、传感器列表 | 需用户授权 | 高 |
| 行为层 | 打字速度、滑动轨迹、陀螺仪数据 | 需隐私声明 | 低(易变化) |
合规红线:设备指纹采集必须在用户同意隐私协议之后进行。IMEI/IDFA 等不可逆加密后存储,禁止明文传输。Android 14+ 和 iOS 14.5+ 对设备标识符获取有严格限制,需提前适配OAID和IDFA新规。
2.6 数据接入架构总览
下图展示风控系统从四类数据源到特征存储的完整接入链路,包含接口层、缓冲层、解析层和存储层。
2.7 接入规范检查清单
在数据接入上线前,建议逐项核对以下规范,避免后期返工:
- 接口文档完整性:请求/响应字段、枚举值、错误码、示例报文是否齐全。
- 加密与鉴权:是否使用HTTPS + 证书/Token,敏感字段是否加密传输。
- 超时与重试:连接超时、读取超时、重试次数、熔断阈值是否配置。
- 幂等性:重复请求是否会导致重复扣费或重复写入。
- 数据质量监控:缺失率、异常值、时效性告警是否接入监控系统。
- 合规审计:用户授权记录、数据存储期限、日志脱敏策略是否满足监管要求。
最佳实践:建议为每类数据源建立接入规范文档模板,包含接口定义、字段映射表、质量阈值、异常处理流程。在特征工程阶段,原始数据接入的质量直接决定特征稳定性和模型效果,前期规范越细致,后期返工越少。