3. Flink DataStream API 入门：编程模型、Source/Sink 与 WordCount 实战

本章是 Flink 反欺诈特征服务的编程起点。你将掌握 DataStream API 的核心编程模型，理解 Source（数据源）与 Sink（数据输出）的概念，并通过经典的 WordCount 案例完成第一个 Flink 流处理程序。最后，我们将梳理 Flink 程序的完整执行流程，为后续构建复杂的反欺诈特征链路打下坚实基础。

3.1 DataStream 编程模型

Flink 的 DataStream API 采用 “流式转换” 的编程范式。其核心思想是将无限数据流抽象为 DataStream<T>，并通过一系列算子（Operator）进行转换，最终输出结果。整个模型由三个核心组件构成：

• Source（数据源）：数据流的入口，负责从外部系统（如 Kafka、Kinesis、文件、Socket）读取数据，并将其转换为 DataStream。
• Transformation（转换算子）：对 DataStream 进行业务逻辑处理，如 map、filter、keyBy、window 等。每个算子都会生成一个新的 DataStream。
• Sink（数据输出）：数据流的终点，将处理后的结果输出到外部系统（如数据库、消息队列、文件系统）。

3.2 Source 与 Sink 概念详解

Source 和 Sink 是 Flink 连接外部世界的桥梁。理解它们的分类和特性，是构建可靠数据管道的前提。

3.2.1 Source（数据源）

Source 决定了数据如何进入 Flink 系统。根据数据消费方式，主要分为两类：

3.2.2 Sink（数据输出）

Sink 负责将处理结果持久化或发送到下游系统。选择 Sink 时需考虑吞吐量、一致性语义和写入延迟。

3.3 WordCount 实战：第一个 Flink 流处理程序

WordCount 是分布式计算领域的“Hello World”。我们将通过一个完整的 Socket 流式 WordCount 案例，演示 DataStream API 的完整编码流程。

3.3.1 环境准备与依赖

创建一个 Maven 项目，在 pom.xml 中添加 Flink 核心依赖（以 Flink 1.17 为例）：

<properties>
    <flink.version>1.17.0</flink.version>
    <scala.binary.version>2.12</scala.binary.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java</artifactId>
        <version>${flink.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-clients</artifactId>
        <version>${flink.version}</version>
    </dependency>
</dependencies>

3.3.2 完整代码实现

以下代码从 Socket 端口读取文本流，实时统计每个单词出现的次数：

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class SocketWindowWordCount {
    public static void main(String[] args) throws Exception {
        // 1. 创建流执行环境
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 2. 定义 Source：从本地 Socket 读取数据（nc -lk 9999）
        DataStream<String> text = env.socketTextStream("localhost", 9999);

        // 3. Transformation：解析、分组、统计
        DataStream<Tuple2<String, Integer>> wordCounts = text
                .flatMap(new Tokenizer())          // 分词：每行拆成 (word, 1)
                .keyBy(value -> value.f0)          // 按单词分组
                .sum(1);                           // 滚动聚合，累加次数

        // 4. 定义 Sink：将结果打印到控制台
        wordCounts.print();

        // 5. 执行作业
        env.execute("Socket Window WordCount");
    }

    // 自定义 FlatMapFunction：将行文本拆分为单词
    public static final class Tokenizer implements FlatMapFunction<String, Tuple2<String, Integer>> {
        @Override
        public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
            String[] words = value.toLowerCase().split("\\W+");
            for (String word : words) {
                if (word.length() > 0) {
                    out.collect(new Tuple2<>(word, 1));
                }
            }
        }
    }
}

3.3.3 运行与验证

1. 在终端启动数据发送端：nc -lk 9999（Linux/Mac）或使用 Netcat 的 Windows 版本。
2. 运行上述 Java 程序（IDE 直接运行或 mvn exec:java）。
3. 在 nc 终端输入 flink flink flink，观察控制台输出：(flink,1)、(flink,2)、(flink,3)。

3.4 Flink 程序执行流程

理解 Flink 程序从代码到分布式执行的完整流程，有助于你调试和优化反欺诈特征作业。整个流程分为四个阶段：

3.4.1 执行流程关键节点

3.5 本章小结

• 编程模型：DataStream API 遵循 Source → Transformation → Sink 的三层架构，所有操作构建为有向无环图（DAG）。
• Source/Sink：无界 Source（如 Kafka）是实时反欺诈的标配；Sink 的选择需权衡一致性语义与写入性能。
• WordCount 实战：通过 Socket 流式 WordCount，掌握了 flatMap、keyBy、sum 等核心算子的使用。
• 执行流程：从代码到分布式执行经历 StreamGraph → JobGraph → ExecutionGraph 三个阶段，理解此流程有助于定位性能瓶颈和容错问题。