3. Flink DataStream API 入门：Source、Transformation、Sink 基本操作与流批统一模型

在保险精算坏样本归因场景中，数据源往往是实时产生的理赔事件流、承保日志流或外部黑名单推送流。Flink DataStream API 是处理这类无界数据流的核心编程接口。本章将围绕 Source（数据源）、Transformation（转换算子）和 Sink（数据汇）三大核心组件展开，并深入解析 Flink 流处理与批处理的统一模型。

3.1 DataStream API 三大核心组件

DataStream API 的编程模型可以抽象为“从哪里来、做什么、到哪里去”三个环节。下表对比了三大组件的职责与典型应用场景：

3.2 Source：数据源接入

Flink 提供了丰富的预定义 Source，同时也支持自定义 Source。在保险精算场景中，最常用的 Source 类型包括：

• 基于消息队列的 Source：FlinkKafkaConsumer、PulsarSource，支持 offset 自动提交与 checkpoint 对齐。
• 基于文件的 Source：FileSource，适用于历史保单数据批量回放。
• 基于 Socket 的 Source：用于快速原型验证，生产环境不推荐。
• 自定义 Source：实现 SourceFunction 或 RichSourceFunction，用于对接内部风控接口。

// 示例：从 Kafka 消费理赔事件流
DataStream<ClaimEvent> claimStream = env
    .addSource(new FlinkKafkaConsumer<>(
        "claim-topic",
        new ClaimEventDeserializationSchema(),
        kafkaProps
    ))
    .setParallelism(4)
    .name("claim-kafka-source");

3.3 Transformation：核心转换算子

Transformation 是 DataStream API 的精髓。以下算子构成了坏样本归因逻辑的主体：

// 示例：坏样本归因核心转换链
claimStream
    .filter(event -> event.getAmount() > 0)
    .keyBy(ClaimEvent::getPolicyId)
    .window(TumblingEventTimeWindows.of(Time.minutes(5)))
    .aggregate(new ClaimCountAggregator())
    .map(count -> new BadSampleAttribution(count))
    .name("bad-sample-attribution-chain");

3.4 Sink：结果输出

Sink 负责将处理结果持久化。在归因系统中，Sink 的选择直接影响数据一致性和查询性能：

• JDBC Sink：适用于 MySQL、PostgreSQL，需开启 batch 写入。
• ClickHouse Sink：推荐用于归因结果存储，支持高吞吐列式写入。
• Kafka Sink：将归因结果回写到消息队列，供下游预警系统消费。
• File Sink：用于离线归档或审计日志。

3.5 流处理与批处理统一模型

Flink 的核心设计理念之一是“批是流的特例”。这一统一模型在 DataStream API 中的体现如下：

• 运行时统一：批处理作业在底层被转换为有界流（bounded stream），使用相同的 Task 调度和网络栈。
• API 统一：DataStream API 同时支持无界流（实时）和有界流（批），算子语义完全一致。
• 状态管理统一：无论是批还是流，状态后端（RocksDB / Heap）和 checkpoint 机制共享同一套抽象。
• 容错机制统一：批处理通过失败重试恢复，流处理通过 checkpoint + 精确一次语义恢复。

// 同一套 DataStream API 既可处理实时流，也可处理离线批
// 实时流：无界 Source
DataStream<String> realtime = env.fromSource(kafkaSource, ...);

// 离线批：有界 Source（读取 HDFS 上的历史数据）
DataStream<String> batch = env.fromSource(fileSource, ...);

// 后续的 Transformation 和 Sink 代码完全复用

3.6 本章小结

通过本章学习，你应该掌握以下核心知识点：

• DataStream API 的 Source、Transformation、Sink 三阶段编程模型。
• 常用 Source 和 Sink 的选型原则，特别是在保险精算场景下的适配性。
• 核心 Transformation 算子的语义及其在坏样本归因链中的具体应用。
• Flink 流批统一模型的设计哲学：同一套 API、同一套状态、同一套容错机制。