3. 图谱构建实战：从原始数据到图谱的ETL流程、图数据库选型

本章是反欺诈图谱阈值分层实战的核心环节。我们将从原始业务数据出发，完成数据抽取、清洗、转换、加载（ETL）的全流程设计，并对比当前主流的图数据库选型方案（Neo4j vs JanusGraph），帮助你在实际项目中做出合理的技术决策。

3.1 从原始数据到图谱的ETL流程

反欺诈图谱的构建依赖高质量的结构化数据。ETL流程的目标是将分散在多个业务系统（如用户中心、交易系统、风控日志）中的原始数据，转化为图谱中的节点（实体）和边（关系）。

3.1.1 数据源与实体识别

在反欺诈场景中，常见的实体类型包括：

• 用户（User）：注册账号、手机号、身份证号、设备ID。
• 设备（Device）：IMEI、MAC地址、IP地址、Cookie。
• 交易（Transaction）：订单号、金额、时间、收付款账户。
• 联系信息（Contact）：邮箱、社交账号、紧急联系人。

3.1.2 ETL核心步骤

3.1.3 ETL流程架构图

3.2 图数据库选型：Neo4j vs JanusGraph

图数据库是反欺诈图谱的存储与计算核心。选型需综合考虑数据规模、查询模式、运维成本和团队技术栈。以下从多个维度对比Neo4j和JanusGraph。

3.2.1 核心特性对比

3.2.2 选型决策树

3.2.3 反欺诈场景下的选型建议

• 实时风控（毫秒级响应）：优先选择Neo4j。其原生图存储和Cypher查询在1-2跳深度查询中性能极佳，适合在线交易拦截。
• 离线团伙挖掘（小时级全图扫描）：优先选择JanusGraph。其分布式架构可支撑百亿级节点，配合Spark GraphX进行社区发现。
• 混合架构：Neo4j负责在线查询，JanusGraph负责离线分析，通过Kafka同步增量数据。

3.3 ETL与图数据库的集成示例

以下是一个使用Python进行ETL并写入Neo4j的代码片段，展示节点和边的创建逻辑。

from neo4j import GraphDatabase
import hashlib

class FraudGraphETL:
    def __init__(self, uri, user, password):
        self.driver = GraphDatabase.driver(uri, auth=(user, password))

    def create_user_node(self, user_id, phone, device_id):
        # ID标准化：对手机号进行哈希
        phone_hash = hashlib.md5(phone.encode()).hexdigest()
        with self.driver.session() as session:
            session.run(
                "MERGE (u:User {user_id: $uid}) "
                "SET u.phone_hash = $ph, u.device_id = $did",
                uid=user_id, ph=phone_hash, did=device_id
            )

    def create_use_device_edge(self, user_id, device_id, timestamp):
        with self.driver.session() as session:
            session.run(
                "MATCH (u:User {user_id: $uid}) "
                "MATCH (d:Device {device_id: $did}) "
                "MERGE (u)-[r:USE_DEVICE]->(d) "
                "SET r.first_seen = $ts",
                uid=user_id, did=device_id, ts=timestamp
            )

    def close(self):
        self.driver.close()