2. Flink 基础与环境搭建

在保险精算坏样本归因场景中，Flink 作为核心计算引擎，承担着实时特征加工、异常检测与归因聚合的任务。本章将系统梳理 Flink 的三大编程抽象、集群部署模式以及本地开发环境的搭建流程，为后续的归因算子开发与作业调优奠定基础。

2.1 Flink 核心概念：DataStream / DataSet / Table

Flink 提供三层编程抽象，分别面向不同的计算场景。在保险精算领域，DataStream 用于处理实时理赔流与保单变更流，DataSet 用于批量归因回溯与历史数据校验，Table API / SQL 则用于声明式聚合与特征宽表构建。

2.2 Flink 集群模式：Standalone / YARN / K8s

Flink 支持三种主流集群部署模式，选择依据主要取决于资源管理成熟度、运维成本和精算作业的稳定性要求。

• Standalone 模式： 适合开发测试与小规模验证。所有组件（JobManager、TaskManager）手动启动，不依赖外部资源调度器。
• YARN 模式： 企业级生产首选，与 Hadoop 生态深度集成。Flink 作业以 YARN Application 形式运行，资源按需分配，适合保险公司的离线批处理与准实时任务。
• Kubernetes 模式： 面向云原生架构，支持弹性伸缩与容器化部署。适合微服务化的精算归因平台，可实现秒级扩缩容。

2.3 本地开发环境搭建

Flink 支持 Java、Scala 和 Python（PyFlink）三种开发语言。在保险精算团队中，Java 用于核心算子开发，Python 用于数据科学家快速原型验证。以下分别给出三种语言的本地环境搭建步骤。

2.3.1 Java 环境搭建

1. 安装 JDK 8 或 11，配置 JAVA_HOME 环境变量。
2. 下载 Flink 二进制包（推荐 1.17+），解压至本地目录。
3. 启动本地集群：./bin/start-cluster.sh，访问 http://localhost:8081 确认 Web UI 正常。
4. 创建 Maven 项目，引入 Flink 依赖。

<!-- pom.xml 核心依赖 -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java</artifactId>
    <version>1.17.2</version>
    <scope>provided</scope>
</dependency>
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-clients</artifactId>
    <version>1.17.2</version>
    <scope>provided</scope>
</dependency>

2.3.2 Scala 环境搭建

1. 安装 Scala 2.12 或 2.13，配置 SCALA_HOME。
2. 使用 sbt 或 Maven 创建 Flink Scala 项目。
3. 在 build.sbt 中添加 Flink 依赖。

// build.sbt 示例
name := "flink-scala-demo"
version := "1.0"
scalaVersion := "2.12.18"
libraryDependencies ++= Seq(
  "org.apache.flink" %% "flink-scala" % "1.17.2",
  "org.apache.flink" %% "flink-streaming-scala" % "1.17.2"
)

2.3.3 Python (PyFlink) 环境搭建

1. 安装 Python 3.8+ 和 pip。
2. 执行 pip install apache-flink==1.17.2。
3. 验证安装：python -c "from pyflink.datastream import StreamExecutionEnvironment; print('PyFlink OK')"。

# PyFlink 简单示例：读取本地文件并打印
from pyflink.datastream import StreamExecutionEnvironment
env = StreamExecutionEnvironment.get_execution_environment()
ds = env.read_text_file("file:///path/to/input.txt")
ds.print()
env.execute("PyFlink Demo")

2.4 精算开发环境推荐配置

针对保险精算坏样本归因场景，推荐以下开发环境组合，兼顾开发效率与生产一致性：