2. 原始数据接入:风控系统常见数据源及接入规范

原始数据接入是风控特征工程的起点。在模型训练之前,必须明确数据从哪些系统来、以什么格式传输、如何校验质量。风控系统通常接入四类核心数据源:征信数据、第三方数据、埋点行为数据和设备指纹数据。每一类在时效性、结构化程度、合规要求上差异显著,接入规范必须分别设计。

2.1 四类数据源概览

数据源类型 典型内容 更新频率 结构化程度 合规敏感度
征信数据 央行征信报告、百行征信、朴道征信 T+1 ~ 月 半结构化(XML/JSON) 极高(需授权)
第三方数据 多头借贷、黑名单、运营商、电商、社保 实时 ~ T+1 结构化(JSON/CSV) 高(需协议)
埋点行为数据 页面浏览、点击、停留时长、输入事件 实时(流式) 半结构化(JSON/Protobuf) 中(需隐私声明)
设备指纹数据 IMEI/IDFA、MAC、IP、屏幕分辨率、传感器 实时 结构化(JSON) 高(需权限)
接入原则:征信和第三方数据以“查询-响应”模式为主,埋点和设备指纹以“上报-采集”模式为主。两类模式在接口设计、超时处理、幂等性要求上完全不同,接入规范必须区分对待。

2.2 征信数据接入规范

征信数据是风控模型最核心的强变量来源,但接入门槛最高。央行征信报告通常以加密XML或PDF加密包形式返回,百行/朴道等市场化征信机构则提供标准JSON接口。

  • 接口协议:HTTPS + 双向证书认证,报文使用AES-256或SM4加密。
  • 请求字段:姓名、身份证号、授权码(用户签署的电子授权Token)、查询原因码。
  • 响应字段:身份信息、信贷汇总、逾期明细、查询记录、公共记录(法院/税务)。
  • 超时设置:连接超时5s,读取超时15s,重试次数≤2(需幂等)。
  • 存储规范:原始报文加密存储,解密后特征提取在安全沙箱内完成,日志脱敏。
// 征信查询请求示例(简化)
{
  "header": {
    "version": "2.0",
    "txnId": "202503211234567890",
    "timestamp": "2025-03-21T14:30:00+08:00"
  },
  "body": {
    "name": "张三",
    "idNumber": "110101199001011234",
    "authCode": "AUTH202503210001",
    "queryReason": "01"  // 01=贷款审批
  }
}

2.3 第三方数据接入规范

第三方数据源种类繁多,包括多头借贷、黑名单、运营商、电商、社保公积金等。接入时需统一管理数据源路由和字段映射。

数据源类别 典型供应商 接入方式 关键字段 质量校验点
多头借贷 同盾、百融 HTTP POST JSON 近7天/30天申请次数 去重、时效性
黑名单 官方/行业共享 HTTP GET + 加密参数 命中标记、命中时间 数据新鲜度
运营商 中国移动/联通/电信 SDK + 授权页 在网时长、通话活跃度 授权有效期
电商/社保 京东、支付宝、各地社保局 OAuth2.0 + 爬虫/API 消费等级、缴费基数 字段缺失率
接入规范要点:
  • 所有第三方接口必须配置熔断降级策略:连续失败5次后暂停调用30s。
  • 响应字段使用统一命名规范:如 thd_multi_7d_cnt、thd_black_hit_flag。
  • 每个数据源单独配置超时阈值和重试次数,避免单源阻塞整体流程。

2.4 埋点行为数据接入规范

埋点数据反映用户在申请流程中的实时行为,是构建反欺诈模型和行为评分卡的重要输入。埋点通常以客户端SDK采集,经消息队列(Kafka)传输到数据湖。

  • 采集方式:全埋点(自动采集所有页面事件)+ 自定义埋点(关键按钮、输入框)。
  • 传输协议:HTTPS + Protobuf 序列化,减少带宽占用。
  • 关键事件:页面加载、点击、输入、粘贴、切换、提交、验证码请求。
  • 时间戳规范:统一使用UTC毫秒时间戳,客户端与服务端时间差超过30s的标记为异常。
  • 数据质量:缺失率>5%的字段自动告警,session_id 为空的数据直接丢弃。
// 埋点事件上报格式(Protobuf 定义片段)
message BehaviorEvent {
  string session_id = 1;
  string user_id = 2;
  string event_type = 3;       // page_view, click, input, paste
  string page_id = 4;
  int64 timestamp_ms = 5;
  map<string, string> properties = 6;  // 自定义属性
  string device_fingerprint = 7;
}

2.5 设备指纹数据接入规范

设备指纹用于识别设备唯一性、检测模拟器/改机工具、关联团伙欺诈。接入时需平衡采集深度与用户隐私。

采集层级 字段示例 权限要求 稳定性
基础层 IP、User-Agent、屏幕宽高、语言 无 高
标识层 IMEI、IDFA、OAID、MAC 需用户授权 中(可重置)
环境层 是否Root、是否模拟器、传感器列表 需用户授权 高
行为层 打字速度、滑动轨迹、陀螺仪数据 需隐私声明 低(易变化)
合规红线:设备指纹采集必须在用户同意隐私协议之后进行。IMEI/IDFA 等不可逆加密后存储,禁止明文传输。Android 14+ 和 iOS 14.5+ 对设备标识符获取有严格限制,需提前适配OAID和IDFA新规。

2.6 数据接入架构总览

下图展示风控系统从四类数据源到特征存储的完整接入链路,包含接口层、缓冲层、解析层和存储层。

风控数据接入架构图 风控数据接入架构 征信数据 第三方数据 埋点行为数据 设备指纹数据 统一接入网关(鉴权 / 限流 / 熔断 / 加密) 缓冲层(Kafka / Redis / 本地队列) 解析层(字段映射 / 格式校验 / 缺失填充 / 脱敏) 特征存储(HBase / ClickHouse / 特征平台)

2.7 接入规范检查清单

在数据接入上线前,建议逐项核对以下规范,避免后期返工:

  1. 接口文档完整性:请求/响应字段、枚举值、错误码、示例报文是否齐全。
  2. 加密与鉴权:是否使用HTTPS + 证书/Token,敏感字段是否加密传输。
  3. 超时与重试:连接超时、读取超时、重试次数、熔断阈值是否配置。
  4. 幂等性:重复请求是否会导致重复扣费或重复写入。
  5. 数据质量监控:缺失率、异常值、时效性告警是否接入监控系统。
  6. 合规审计:用户授权记录、数据存储期限、日志脱敏策略是否满足监管要求。
最佳实践:建议为每类数据源建立接入规范文档模板,包含接口定义、字段映射表、质量阈值、异常处理流程。在特征工程阶段,原始数据接入的质量直接决定特征稳定性和模型效果,前期规范越细致,后期返工越少。