📚 课程目录第4章 Spark GraphX核心API

4. Spark GraphX 核心 API：图创建、顶点/边 RDD 操作、图属性查询、图持久化策略

在反欺诈图谱回放场景中，GraphX 是构建、转换和查询图结构的基础引擎。本章聚焦 GraphX 最核心的四个能力域：图创建、顶点/边 RDD 操作、图属性查询与图持久化策略。掌握这些 API 是后续实现“交易链路回放”、“团伙识别”等复杂案例的前提。

4.1 图创建：从 RDD 到 Graph

GraphX 的 Graph 对象由两个核心 RDD 构成：VertexRDD 和 EdgeRDD。创建图有三种典型方式：

创建方式	适用场景	关键方法
从边 RDD 直接构造	已知完整边列表，顶点自动推断	`Graph(edges, defaultVertexAttr)`
从顶点 RDD + 边 RDD 构造	需要显式指定顶点属性（如设备指纹、用户标签）	`Graph(vertices, edges, defaultVertexAttr)`
从边元组列表构造	快速原型、小规模测试	`Graph.fromEdgeTuples(rawEdges, defaultValue)`

  反欺诈实战提示： 在回放场景中，推荐使用“顶点 RDD + 边 RDD”方式。顶点属性可携带设备指纹、IP 段、注册时间等静态特征，边属性可携带交易金额、时间戳、风险评分等动态特征，便于后续图过滤与聚合。

// 示例：从顶点RDD和边RDD构造反欺诈图谱
val vertices: RDD[(VertexId, (String, String))] = sc.parallelize(Array(
  (1L, ("device_A", "android")),
  (2L, ("user_001", "high_risk")),
  (3L, ("ip_192.168.1.1", "proxy"))
))

val edges: RDD[Edge[Double]] = sc.parallelize(Array(
  Edge(1L, 2L, 1500.0),   // 设备 -> 用户，交易金额1500
  Edge(2L, 3L, 0.5)       // 用户 -> IP，风险相似度0.5
))

val graph: Graph[(String, String), Double] = Graph(vertices, edges, ("unknown", "default"))

4.2 顶点/边 RDD 操作：图结构变换

GraphX 提供 mapVertices、mapEdges、mapTriplets 三大变换算子，用于修改顶点或边属性而不改变图拓扑结构。这是回放场景中“属性增强”的核心手段。

mapVertices：仅遍历顶点，保留边结构。适用于更新设备标签、风险等级。
mapEdges：仅遍历边，保留顶点结构。适用于修正交易金额、时间戳。
mapTriplets：同时访问源顶点、目标顶点和边属性。适用于计算“交易金额是否超过源顶点历史均值”等跨节点逻辑。

// 反欺诈案例：对高风险用户的出边金额打标
val flaggedGraph = graph.mapTriplets[Double] { triplet =>
  if (triplet.srcAttr._2 == "high_risk") {
    triplet.attr * 1.5  // 高风险用户出边金额放大1.5倍
  } else {
    triplet.attr
  }
}

性能要点： mapTriplets 会触发一次 shuffle，因为需要将顶点属性广播到边分区。在回放大规模图谱（千万级顶点）时，优先使用 mapVertices + mapEdges 组合，避免不必要的 shuffle。

4.3 图属性查询：结构统计与模式发现

GraphX 提供丰富的图属性查询方法，用于快速了解图谱的宏观结构与局部特征。在反欺诈回放中，这些查询是“异常检测”的第一步。

查询方法	返回类型	反欺诈含义
`numVertices`	Long	图谱中实体总数（设备、用户、IP）
`numEdges`	Long	图谱中关联总数（交易、登录、绑定）
`degrees`	VertexRDD[Int]	每个顶点的度数，用于发现“超级节点”（如共用设备）
`inDegrees`	VertexRDD[Int]	入度数，识别“被大量设备登录”的可疑账号
`outDegrees`	VertexRDD[Int]	出度数，识别“批量操作”的设备
`triplets`	RDD[EdgeTriplet]	边三元组，用于遍历每条边及其两端顶点属性

// 反欺诈查询：找出入度大于50的可疑账号
val suspiciousAccounts = graph.inDegrees
  .filter { case (_, inDeg) => inDeg > 50 }
  .join(graph.vertices)
  .map { case (vid, (deg, (device, risk))) => (vid, device, risk, deg) }

suspiciousAccounts.take(10).foreach(println)

注意： degrees、inDegrees、outDegrees 会触发一次聚合计算，在超大图上建议先过滤子图再查询，避免全图扫描。

4.4 图持久化策略：缓存与序列化

在反欺诈回放中，同一张图谱通常会被多次查询（如度数统计、子图匹配、PageRank 计算）。合理的持久化策略可以避免重复计算，大幅提升性能。

持久化级别	存储位置	序列化	适用场景
`MEMORY_ONLY`	内存	Java 对象	图较小，内存充足，追求低延迟
`MEMORY_ONLY_SER`	内存	字节数组	图较大，内存有限，可接受序列化开销
`MEMORY_AND_DISK`	内存 + 磁盘	Java 对象	图超大，内存放不下时自动溢写磁盘
`OFF_HEAP`	堆外内存	字节数组	减少 GC 压力，适合长时间驻留的图谱

  反欺诈最佳实践： 对于回放场景，推荐使用 MEMORY_ONLY_SER 配合 Kryo 序列化。GraphX 的顶点和边属性通常包含字符串（设备 ID、IP）和数值（金额、评分），Kryo 序列化后内存占用可降低 60%-70%，且 GC 压力显著减小。

import org.apache.spark.graphx.Graph
import org.apache.spark.storage.StorageLevel

// 创建图后立即持久化
val persistedGraph: Graph[(String, String), Double] = graph.persist(StorageLevel.MEMORY_ONLY_SER)

// 执行多次查询，只触发一次计算
val deg = persistedGraph.degrees.count()
val inDeg = persistedGraph.inDegrees.filter(_._2 > 10).count()
val triplets = persistedGraph.triplets.filter(_.attr > 1000).count()

// 使用完毕后主动释放
persistedGraph.unpersist()

常见陷阱： 不要对 graph.vertices 和 graph.edges 分别调用 persist()，这会导致两份缓存。应直接对 graph.persist()，GraphX 会自动缓存内部的 VertexRDD 和 EdgeRDD。另外，在迭代算法（如 Pregel）中，建议每轮迭代后 unpersist() 旧图，避免内存泄漏。

4.5 本章小结

图创建：优先使用 Graph(vertices, edges, default) 方式，显式控制顶点属性。
顶点/边操作：mapTriplets 功能最强但代价最高，mapVertices + mapEdges 组合更高效。
图属性查询：degrees、inDegrees、outDegrees 是反欺诈“超级节点”检测的利器。
持久化策略：MEMORY_ONLY_SER + Kryo 是回放场景的黄金组合，兼顾性能与内存。