3. 数据源梳理与接入：内部交易数据、用户行为数据、外部征信数据、设备指纹数据的接入与清洗

在支付风控评分卡建模中，数据源的质量与覆盖度直接决定模型的上限。本章聚焦于四类核心数据源的接入策略、字段解析与清洗规范，帮助你在“沙盘实战”中构建可靠的特征底座。

3.1 四类数据源全景

支付风控场景的数据源可归纳为内部与外部两大维度。内部数据反映用户在本平台的交易与行为轨迹，外部数据则提供跨平台的征信与设备风险画像。下表梳理了每类数据源的核心定位与典型接入方式：

3.2 内部交易数据接入与清洗

内部交易数据是评分卡建模的基石。接入时需关注交易流水表、订单明细表、账务变动表三张核心宽表。清洗环节重点解决以下问题：

• 重复交易去重：基于订单号 + 支付时间 + 金额三字段联合去重，保留最早一条记录。
• 异常金额过滤：剔除金额为 0 或负数的测试订单，以及单笔金额超过 99 百分位数的极端值（通常为 500,000 元以上）。
• 时间戳对齐：将交易时间统一转换为 UTC+8 时区，并标记工作日/节假日、凌晨时段（00:00-06:00）等时间特征。
• 状态标签映射：将交易状态（成功、失败、退款、风控拦截）映射为二分类标签：正常 = 1，风险 = 0。

-- 交易数据清洗示例（Hive SQL）
CREATE TABLE cleaned_transactions AS
SELECT
  order_id,
  user_id,
  pay_amount,
  FROM_UNIXTIME(pay_time, 'yyyy-MM-dd HH:mm:ss') AS pay_datetime,
  CASE 
    WHEN order_status = 'SUCCESS' AND risk_flag = 0 THEN 1
    ELSE 0
  END AS label,
  ROW_NUMBER() OVER (PARTITION BY order_id, pay_amount ORDER BY pay_time ASC) AS rn
FROM raw_transactions
WHERE pay_amount > 0 
  AND pay_amount < 500000
  AND order_status IN ('SUCCESS', 'FAILED', 'REFUND', 'RISK_BLOCK');

3.3 用户行为数据接入与清洗

用户行为数据是刻画“正常用户画像”与“异常操作模式”的关键。接入时通常以事件日志形式存储，每条记录包含用户 ID、事件类型、事件时间、页面来源、设备 ID 等字段。清洗要点如下：

• 会话切割：以 30 分钟无操作为阈值，将连续事件流切割为独立会话，计算会话内操作频次、页面跳转深度。
• 异常行为过滤：剔除爬虫或脚本产生的超高频事件（如 1 秒内点击超过 10 次），保留人工操作特征。
• 缺失值填充：页面来源为空时，标记为 'DIRECT'；设备 ID 为空时，标记为 'UNKNOWN' 并单独建模。
• 特征衍生：基于时间窗口（1 小时 / 1 天 / 7 天）聚合行为计数、行为多样性（不同事件类型数）、行为规律性（夜间操作占比）。

3.4 外部征信数据接入与清洗

外部征信数据通常以 JSON 或 XML 格式通过 API 返回，接入时需设计统一的解析层与缓存策略。清洗环节需特别关注：

• 字段对齐：不同征信机构返回的字段名与枚举值存在差异，需建立统一映射表。例如“逾期天数”字段，机构 A 返回 'overdue_days'，机构 B 返回 'late_days'，统一映射为 'overdue_days'。
• 空值处理：征信查询无结果时，返回空字符串或 null。建议将空值填充为 -1 或 999，作为“未命中”类别参与建模。
• 时效性校验：征信数据通常有有效期（如 30 天），超出有效期的数据应标记为过期，不参与特征计算。
• 去重与合并：同一用户在同一机构存在多条记录时，取最新一条；不同机构的数据按用户 ID 左连接合并。

# 征信数据清洗示例（Python Pandas）
import pandas as pd

# 假设 df_credit 为原始征信数据
df_credit['overdue_days'] = df_credit['overdue_days'].fillna(-1)
df_credit['query_date'] = pd.to_datetime(df_credit['query_date'])
df_credit = df_credit.sort_values('query_date').drop_duplicates(subset=['user_id', 'org_code'], keep='last')
df_credit = df_credit[df_credit['query_date'] >= pd.Timestamp.now() - pd.Timedelta(days=30)]

3.5 设备指纹数据接入与清洗

设备指纹数据是反欺诈的“第一道防线”。接入时通过前端 SDK 采集设备硬件信息、网络环境、传感器数据，服务端进行指纹计算与风险评分。清洗规范如下：

• 指纹稳定性校验：同一设备在 24 小时内指纹不应频繁变化。若设备 ID 变化次数超过 3 次，标记为“指纹抖动”并降权。
• IP 归属清洗：将 IP 地址转换为地理位置（国家、省份、城市），并计算 IP 与收货地址的匹配度。代理 IP 或数据中心 IP 直接标记为高风险。
• 模拟器检测：基于设备型号、分辨率、传感器列表等特征，使用规则或轻量模型判断是否为模拟器。模拟器设备标记为“高风险”并单独建模。
• GPS 异常处理：GPS 坐标与 IP 归属地距离超过 500 公里时，标记为“位置冲突”；GPS 坐标落在海洋或无人区时，标记为“无效坐标”。

3.6 数据源接入架构总览

下图展示了四类数据源在支付风控评分卡建模中的接入与清洗流程。数据从源端采集后，经过清洗层、特征层、存储层，最终进入建模管道。

3.7 数据源接入清单与优先级

在沙盘实战中，建议按以下优先级逐步接入数据源，每接入一个数据源后即进行特征验证，避免一次性接入导致排查困难。

3.8 数据质量监控与异常处理

数据接入后，需建立持续的质量监控机制。以下为关键监控指标与处理策略：

• 数据完整性：每日检查各数据源记录数是否在历史均值的 ±3σ 范围内。若低于阈值，触发告警并回滚至上一版本数据。
• 字段缺失率：核心字段（如用户 ID、交易金额、设备 ID）缺失率超过 5% 时，需排查采集链路是否中断。
• 数据一致性：对比离线数仓与实时消息队列中的同一笔交易，确保字段值一致。不一致时以离线数仓为准并记录差异日志。
• 时效性延迟：实时数据延迟超过 5 分钟时，切换至离线数据兜底，并通知数据工程师修复。