3. Flink 环境搭建与核心概念

本章是《反欺诈图谱特征服务Flink实战》的基石。我们将从零搭建Flink运行环境，并深入理解DataStream API、时间语义与Watermark等核心概念。这些知识将直接应用于后续的实时特征计算与图谱关联分析中。

3.1 Flink集群部署：Standalone 与 YARN 模式

Flink支持多种部署模式。在反欺诈场景中，通常需要与现有大数据生态（如Hadoop YARN）集成，以利用资源管理与数据存储能力。以下对比两种最常用的部署方式。

3.1.1 Standalone 模式部署步骤

1. 下载解压：从官网下载Flink二进制包，解压至指定目录。
2. 配置 conf/flink-conf.yaml：设置 jobmanager.rpc.address、taskmanager.numberOfTaskSlots 等核心参数。
3. 启动集群：在主节点执行 ./bin/start-cluster.sh。
4. 验证：访问 http://<jobmanager-host>:8081 查看Web UI。

3.1.2 YARN 模式部署步骤

1. 环境准备：确保Hadoop集群已启动，配置 HADOOP_CLASSPATH。
2. 提交Job至YARN：使用 ./bin/flink run -m yarn-cluster -yn 2 ./examples/streaming/WordCount.jar。
3. 资源动态分配：YARN根据Job需求动态分配Container，支持 -ys（每个TaskManager的Slot数）等参数。
4. 查看日志：通过 yarn logs -applicationId <appId> 获取Flink日志。

3.2 DataStream API 核心概念

DataStream API是Flink处理无界数据流的核心抽象。在反欺诈图谱特征服务中，我们使用它来消费Kafka中的实时交易事件，并进行特征提取与图谱关联。

3.2.1 核心抽象：Stream、Transformation、Sink

• DataStream<T>：代表一个持续不断的数据流，是API的入口。
• Transformation：对DataStream进行转换的操作，如 map、filter、keyBy、window 等。
• Sink：将计算结果输出到外部系统，如Kafka、HBase、MySQL或图数据库。

3.2.2 典型反欺诈处理流程代码示例

// 1. 创建执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 2. 从Kafka消费交易事件
DataStream<TransactionEvent> transactionStream = env
    .addSource(new FlinkKafkaConsumer<>("transaction-topic", 
        new TransactionDeserializationSchema(), kafkaProps));

// 3. 特征提取：按用户ID分组，计算过去5分钟的交易次数
DataStream<UserFeature> userFeatureStream = transactionStream
    .keyBy(TransactionEvent::getUserId)
    .window(TumblingProcessingTimeWindows.of(Time.minutes(5)))
    .aggregate(new TransactionCountAggregate());

// 4. 输出特征到HBase，供后续图谱查询使用
userFeatureStream.addSink(new HBaseSinkFunction<>("user_features", "cf"));

3.3 Flink 时间语义与 Watermark

时间是实时计算的核心维度。Flink提供了三种时间语义，其中 事件时间（Event Time） 是反欺诈场景的首选，因为它能准确反映交易发生的真实时间，不受数据到达延迟的影响。

3.3.1 Watermark：解决乱序与延迟

Watermark是Flink中衡量事件时间进展的机制。它本质上是一个时间戳，表示“在这个时间戳之前的数据已经全部到达”。当Watermark超过窗口结束时间时，触发窗口计算。

• 有序流：Watermark = 当前最大事件时间 - 1。
• 乱序流：Watermark = 当前最大事件时间 - 最大允许延迟时间（maxOutOfOrderness）。
• 周期性生成：通过 assignTimestampsAndWatermarks 接口配置。

3.4 核心概念关系图：时间、Watermark 与窗口

下图展示了事件时间、Watermark与滚动窗口（Tumbling Window）之间的协作关系。Watermark像一把“尺子”，推动窗口的关闭与计算。

3.5 本章小结

• 部署模式：生产环境推荐YARN模式，开发测试可用Standalone。
• DataStream API：通过 keyBy + window 实现实体维度的实时特征聚合。
• 时间语义：反欺诈场景必须使用 事件时间 保证准确性。
• Watermark：解决乱序问题，通过配置 maxOutOfOrderness 容忍一定延迟。