3. 图谱构建实战：从原始交易数据构建用户-设备-IP三元组图谱

原始交易日志通常是扁平、杂乱、多源异构的。反欺诈图谱构建的第一步，就是从这些原始数据中抽取出用户（User）、设备（Device）、IP地址（IP）三类核心实体，并建立它们之间的关联关系，形成三元组图谱。本章将完整演示这一过程，并重点解决数据清洗与实体对齐的工程难题。

3.1 三元组图谱的实体与关系定义

在反欺诈场景中，三元组图谱以“用户-设备-IP”为骨架，每个实体都有唯一标识，关系则记录行为发生的上下文。下表定义了核心实体与关系类型：

3.2 数据清洗：从原始日志到结构化实体

原始交易数据通常以JSON或CSV格式存储，包含大量噪声、缺失值和格式不一致问题。数据清洗的目标是将其转化为标准化的实体属性表。以下是一个典型的原始登录日志示例：

{
  "log_id": "20250301120345_abc123",
  "user_id": "U_10086",
  "device_fingerprint": "DEVICE_ANDROID_9a8b7c6d5e4f",
  "ip_address": "192.168.1.100",
  "login_time": "2025-03-01 12:03:45",
  "login_result": "success",
  "user_agent": "Mozilla/5.0 ... Android 13 ...",
  "extra_info": "{\"app_version\": \"3.2.1\", \"channel\": \"huawei\"}"
}

清洗流程分为以下四个步骤：

1. 字段抽取与标准化：从嵌套JSON中提取user_id、device_id、ip，统一字段命名（如device_fingerprint → device_id）。
2. 缺失值处理：对于缺失device_id或ip的记录，标记为“unknown_xxx”并保留，不直接丢弃——因为缺失本身可能是欺诈特征（如设备指纹被清除）。
3. 格式校验与转换：IP地址校验IPv4/IPv6格式；时间戳统一为Unix时间戳或ISO 8601标准；user_agent解析出操作系统与设备型号。
4. 去重与合并：同一用户在同一设备上的连续登录记录，合并为一条“登录关系”，保留首次和末次时间戳。

3.3 实体对齐：解决同一实体的多源标识冲突

实体对齐是图谱构建中最耗时、最易出错的环节。同一用户可能在不同系统中拥有多个user_id（如手机号、邮箱、第三方账号），同一设备可能因系统升级导致device_id变化。实体对齐的目标是将指向同一现实世界实体的不同标识合并为一个节点。

下表总结了常见的实体对齐场景与策略：

3.4 图谱构建流程总览

下图展示了从原始数据到三元组图谱的完整构建流程，包含数据清洗、实体对齐、关系抽取与图谱存储四个阶段：

3.5 代码实战：Python实现三元组抽取

以下代码演示了如何使用Python从原始日志中抽取用户-设备-IP三元组，并进行基本的实体对齐。代码采用Pandas进行数据清洗，NetworkX构建图谱：

import pandas as pd
import networkx as nx
from datetime import datetime

# 1. 加载原始日志
raw_logs = pd.read_json('login_logs.json', lines=True)

# 2. 数据清洗：字段抽取与标准化
def clean_logs(df):
    df = df.copy()
    # 统一字段名
    df.rename(columns={
        'user_id': 'user',
        'device_fingerprint': 'device',
        'ip_address': 'ip'
    }, inplace=True)
    # 缺失值处理：标记为unknown
    df['device'] = df['device'].fillna('unknown_device')
    df['ip'] = df['ip'].fillna('unknown_ip')
    # 时间戳标准化
    df['timestamp'] = pd.to_datetime(df['login_time'])
    # 去重：同一用户同一设备同一IP在5分钟内只保留一条
    df = df.sort_values('timestamp')
    df['time_diff'] = df.groupby(['user','device','ip'])['timestamp'].diff()
    df = df[(df['time_diff'].isna()) | (df['time_diff'] > pd.Timedelta(minutes=5))]
    return df[['user', 'device', 'ip', 'timestamp', 'login_result']]

cleaned = clean_logs(raw_logs)

# 3. 实体对齐：通过设备指纹关联不同user_id
def align_users_by_device(df):
    # 找出共享同一设备的用户对
    device_user_groups = df.groupby('device')['user'].apply(set)
    aligned_pairs = []
    for device, users in device_user_groups.items():
        if len(users) > 1:
            user_list = list(users)
            for i in range(len(user_list)):
                for j in range(i+1, len(user_list)):
                    aligned_pairs.append((user_list[i], user_list[j], device))
    return aligned_pairs

aligned_pairs = align_users_by_device(cleaned)

# 4. 构建三元组图谱
G = nx.Graph()

# 添加实体节点
for _, row in cleaned.iterrows():
    G.add_node(row['user'], type='user')
    G.add_node(row['device'], type='device')
    G.add_node(row['ip'], type='ip')

# 添加关系边（带时间属性）
for _, row in cleaned.iterrows():
    G.add_edge(row['user'], row['device'], 
               relation='login', 
               timestamp=row['timestamp'],
               result=row['login_result'])
    G.add_edge(row['device'], row['ip'],
               relation='access',
               timestamp=row['timestamp'])

# 添加对齐后的弱关联边
for u1, u2, device in aligned_pairs:
    G.add_edge(u1, u2, relation='device_share', 
               device=device, confidence='medium')

print(f"图谱构建完成：{G.number_of_nodes()} 个实体，{G.number_of_edges()} 条关系")

3.6 图谱质量评估指标

构建完成后，需要从以下维度评估图谱质量，为后续阈值调优提供基准：