2. 图数据库与图计算基础：图论基本概念、主流图数据库与Spark图计算引擎
在反欺诈图谱团伙识别中，实体（用户、设备、IP、手机号）与关系（登录、转账、同设备）天然构成一张巨大的图。理解图论基础、选对图存储与计算引擎，是构建回放反欺诈系统的第一步。
2.1 图论基本概念
图由节点（Vertex）和边（Edge）组成，记为 G = (V, E)。
| 概念 | 定义 | 反欺诈示例 |
|---|---|---|
| 节点 (Vertex) | 图中的实体对象 | 用户ID、设备ID、银行卡号、IP地址 |
| 边 (Edge) | 节点之间的关联关系 | 登录、转账、同设备、同IP |
| 度 (Degree) | 节点连接的边数 | 一个设备关联了50个用户 → 高度异常 |
| 连通分量 (Connected Component) | 图中节点通过边相互可达的最大子图 | 一个团伙内所有成员构成一个连通分量 |
| 路径 (Path) | 节点序列，相邻节点间有边连接 | 用户A→设备X→用户B→银行卡C |
| 有向图 vs 无向图 | 边是否有方向 | 转账有方向，同设备无方向 |
反欺诈关键指标： 在团伙识别中，度和连通分量是最常用的两个图特征。一个节点的度远高于正常分布（如设备关联>10个用户），往往是欺诈中介或团伙核心；连通分量的大小直接对应团伙规模。
2.2 图数据库简介：Neo4j vs JanusGraph
图数据库专门用于存储和查询图结构数据，支持高效的邻接遍历。在反欺诈场景中，图数据库用于在线查询（如实时查证用户与已知黑名单的关联路径）。
| 特性 | Neo4j | JanusGraph |
|---|---|---|
| 存储引擎 | 原生图存储（Native） | 后端可插拔（HBase/Cassandra/BerkeleyDB） |
| 查询语言 | Cypher（声明式，易学） | Gremlin（函数式/遍历式，灵活） |
| 事务支持 | ACID，单机强一致 | 最终一致性（分布式场景） |
| 分布式 | 企业版支持集群（Causal Clustering） | 原生分布式，水平扩展 |
| 适用场景 | 中小规模、在线查询、快速原型 | 超大规模（百亿节点）、Hadoop生态集成 |
| 反欺诈典型用法 | 实时黑名单路径查询、风险传导 | 离线全量图谱构建、批量特征计算 |
选型建议： 如果团队刚起步、数据量在亿级以内、需要快速上线实时查询，优先选择 Neo4j；如果数据量在十亿级以上、需要与Spark/HBase深度集成、追求分布式弹性，选择 JanusGraph。
2.3 Spark GraphX 与 GraphFrames 对比
在Spark生态中，图计算主要依赖两个引擎：GraphX（底层RDD API）和 GraphFrames（基于DataFrame的高层API）。
| 对比维度 | GraphX | GraphFrames |
|---|---|---|
| 底层数据结构 | RDD[(VertexId, VD), Edge[ED]] | DataFrame（Vertex DataFrame + Edge DataFrame） |
| API风格 | 函数式，Pregel/aggregateMessages | 声明式，SQL风格 + 图算法 |
| 易用性 | 中等，需理解RDD和消息传递 | 高，熟悉DataFrame即可上手 |
| 图算法内置 | PageRank、ConnectedComponents、TriangleCount | PageRank、ConnectedComponents、LabelPropagation、BFS、MotifFinding |
| 模式匹配（Motif） | 不支持 | 支持（如 (a)-[e]->(b) 模式搜索） |
| 性能 | 底层优化，迭代计算快 | Catalyst优化器，适合混合计算 |
| 反欺诈适用场景 | 大规模连通分量、PageRank迭代 | 团伙模式挖掘、属性传播、图特征工程 |
注意： GraphFrames 的 MotifFinding 在反欺诈中非常实用——例如查找“用户A登录设备X，设备X被用户B登录，用户B转账给用户C”的三跳模式，一条SQL即可完成。但GraphFrames的连通分量算法在大图（>10亿边）上可能不如GraphX稳定，需要根据数据规模做取舍。
2.4 图计算引擎选型架构图
下图展示了在反欺诈图谱团伙识别中，图数据库与Spark图计算引擎的典型协作架构：
2.5 图计算核心算法：连通分量（Connected Components）
连通分量是团伙识别最基础的图算法。在无向图中，如果两个节点之间存在路径，则它们属于同一个连通分量。在反欺诈中，一个连通分量通常对应一个潜在的欺诈团伙。
GraphX 实现连通分量示例：
import org.apache.spark.graphx._
import org.apache.spark.rdd.RDD
// 1. 构建顶点RDD：用户ID和设备ID
val vertices: RDD[(VertexId, String)] = sc.parallelize(Array(
(1L, "用户A"), (2L, "用户B"), (3L, "用户C"),
(4L, "设备X"), (5L, "设备Y")
))
// 2. 构建边RDD：登录关系
val edges: RDD[Edge[String]] = sc.parallelize(Array(
Edge(1L, 4L, "登录"), Edge(2L, 4L, "登录"),
Edge(3L, 5L, "登录"), Edge(2L, 5L, "登录")
))
// 3. 创建图
val graph = Graph(vertices, edges)
// 4. 计算连通分量
val cc = graph.connectedComponents().vertices
// 5. 查看结果：每个节点所属的团伙ID
cc.collect().foreach { case (vertexId, componentId) =>
println(s"节点 $vertexId 属于团伙 $componentId")
}
输出结果解读： 用户A(1)和设备X(4)属于同一个团伙（componentId相同）；用户B(2)、用户C(3)和设备Y(5)属于另一个团伙。两个团伙之间没有边连接，因此被识别为两个独立的连通分量。
2.6 图计算核心算法：Motif Finding（模式匹配）
GraphFrames 的 Motif Finding 允许用户用声明式语法搜索图中的特定结构模式，非常适合反欺诈中的团伙模式挖掘。
GraphFrames 查找“二度关联”模式示例：
from graphframes import GraphFrame
# 1. 构建顶点DataFrame
vertices = spark.createDataFrame([
(1, "用户A"), (2, "用户B"), (3, "用户C"),
(4, "设备X"), (5, "设备Y")
], ["id", "name"])
# 2. 构建边DataFrame
edges = spark.createDataFrame([
(1, 4, "登录"), (2, 4, "登录"),
(3, 5, "登录"), (2, 5, "登录")
], ["src", "dst", "relation"])
# 3. 创建图
g = GraphFrame(vertices, edges)
# 4. Motif：查找通过同一设备关联的两个用户
motifs = g.find("(a)-[e1]->(d); (b)-[e2]->(d)")
motifs.filter("a.id != b.id").show()
反欺诈实战技巧： 将 Motif 与连通分量结合使用——先用连通分量划分团伙，再在团伙内部用 Motif 查找特定欺诈模式（如“用户→设备→用户→银行卡”的转账链），可以大幅提升团伙识别的精准度。
2.7 本章小结
- 图论基础： 节点、边、度、连通分量是反欺诈图谱的核心概念，度异常和连通分量大小是团伙识别的重要特征。
- 图数据库： Neo4j 适合在线实时查询，JanusGraph 适合超大规模分布式存储，根据数据量和场景选型。
- Spark图计算： GraphX 性能强、适合大规模迭代；GraphFrames 易用性好、支持 Motif 模式匹配，是反欺诈特征工程的首选。
- 实战路径： 先用 GraphFrames 做快速原型和模式挖掘，再用 GraphX 做大规模连通分量和 PageRank 迭代，最后将结果写入图数据库供在线查询。