3. 数据来源与采集

构建用户设备IP多实体关联图谱，第一步不是画图，而是把“原料”找齐、找对、找干净。图谱中的节点与边，最终都来自五类数据源：用户设备数据、IP数据、日志数据、网络流量数据、业务系统数据。它们分别回答“谁在用”“用的是谁”“发生了什么”“怎么通信的”“业务上是谁”五个问题。理解每类数据的字段、粒度、更新频率与采集方式，是后续实体对齐和关系推理的前提。

核心原理：五类数据的分工与关联逻辑

多实体关联的本质，是把不同系统中描述同一对象的“弱标识”聚合为“强标识”。用户设备数据提供设备指纹（如IMEI、MAC、IDFA、设备型号、操作系统）；IP数据提供网络位置（如公网IP、内网IP、NAT出口、归属地、ASN）；日志数据提供时间线上的行为事件（登录、下单、改密）；网络流量数据提供通信关系（源IP、目的IP、端口、协议、DNS、TLS SNI）；业务系统数据提供实名与账户信息（用户ID、手机号、证件号、会员等级）。

这五类数据的关联逻辑可以概括为：设备是锚点，IP是桥梁，日志是时间证据，流量是关系证据，业务系统是身份确认。例如，同一设备在多个IP上登录，说明设备移动或网络切换；同一IP下多个设备频繁出现，可能是家庭、企业出口或代理池；同一业务账号绑定多个设备，则可能涉及账号共享或盗用。

方法流程：从数据源到可采集字段

采集不是“全量拉取”，而是按图谱需求反向设计字段。建议按以下流程推进：

1. 明确实体与关系：先确定要构建的节点类型（用户、设备、IP、账号、业务实体）和边类型（登录、绑定、通信、归属）。
2. 盘点数据源：列出每个系统的负责人、接口方式、字段字典、更新频率、数据量级。
3. 设计采集字段：只采集与实体关联相关的字段，避免把无关隐私字段带入。
4. 选择采集方式：数据库直连、API拉取、日志采集、流量镜像、消息队列订阅。
5. 建立时间与主键规范：统一时间戳格式、时区、设备ID和IP的标准化规则。
6. 合规评审与脱敏：在采集前完成目的限定、最小必要、脱敏加密和审计留痕。

下面是一个采集配置的示例片段，用于说明字段映射与脱敏策略：

source: user_device
collect:
  mode: api
  endpoint: /openapi/v1/devices
  fields:
    - device_id
    - imei_hash
    - mac_hash
    - os_type
    - last_login_ip
  mask:
    imei_hash: sha256
    mac_hash: sha256
  schedule: "0 */2 * * *"

source: network_flow
collect:
  mode: kafka
  topic: flow.raw
  fields:
    - src_ip
    - dst_ip
    - src_port
    - dst_port
    - protocol
    - timestamp
  retention: 30d

案例/场景：一次异常登录的关联还原

假设业务系统发现某账号在凌晨异地登录。采集侧需要快速拉取以下数据：该账号近7天登录日志中的设备ID与IP；这些IP的归属地与ASN；对应设备的流量记录中是否出现异常目的地址；业务系统中该账号的绑定手机与常用设备。通过关联可以发现：账号在A城市常用设备D1登录，凌晨却由B城市IP2通过设备D2登录，且D2在同一IP下还登录了另外5个账号。此时图谱中会形成“IP2—D2—多账号”的密集子图，为风控提供直接线索。

误区/复盘：采集环节最常见的五个问题

• 只采IP不采端口和协议：导致无法区分同一IP上的不同服务，关系边粒度太粗。
• 设备ID未统一：Android ID、OAID、IDFA混用，造成同一设备被拆成多个节点。
• 忽略NAT与代理：把出口IP直接当成用户真实IP，导致大量用户被错误聚合。
• 日志时间不同步：各系统时区或时钟不一致，时间线错乱，关联结果不可信。
• 先采后审：未做合规评估就采集敏感字段，后续面临删除、整改和审计风险。

合规要求必须贯穿采集始终。核心原则包括：目的限定（只用于安全与关联分析）、最小必要（不采集与目标无关的通信内容）、脱敏加密（设备号、手机号、证件号哈希或加密存储）、访问控制（按角色授权，操作留痕）、留存期限（到期删除或匿名化）。尤其注意，网络流量数据中不得解析和存储通信内容，只保留元数据；业务系统数据需获得用户授权或具备合法处理依据。

把五类数据源按统一的时间、设备、IP、账号四元组对齐后，图谱构建才具备可靠输入。采集阶段多花一小时做字段标准化和合规检查，后续实体对齐和关系推理就能少返工一整天。