3. Flink 流处理核心概念：DataStream、KeyedStream、Window、State、时间语义

在构建规则冲突处理在线推理系统时，Flink 的流处理核心概念是支撑实时规则匹配、状态维护与窗口聚合的基石。本章将逐一剖析 DataStream、KeyedStream、Window、State 以及时间语义，并结合规则冲突检测场景说明其应用方式。

3.1 DataStream：事件流的抽象

DataStream 是 Flink 流处理程序中的基本数据抽象，代表一个持续不断、可能无限的事件序列。在规则引擎中，每一条进入系统的原始事件（如交易日志、传感器读数、用户行为）都会被封装为 DataStream 中的一个元素。

3.2 KeyedStream：按规则键分区的流

KeyedStream 是对 DataStream 按照某个 key 进行分区后得到的逻辑分组流。在规则冲突检测中，key 通常是规则 ID 或规则组标识，确保同一规则的所有事件被路由到同一个并行子任务中处理。

// 按规则 ID 对事件流进行分区
DataStream<RuleEvent> inputStream = ...;
KeyedStream<RuleEvent, String> keyedStream = inputStream
    .keyBy(RuleEvent::getRuleId);

KeyedStream 的核心价值在于：

• 状态隔离：每个 key 拥有独立的状态存储，不同规则的状态互不干扰。
• 窗口对齐：窗口计算在 key 的维度内进行，确保同一规则的事件在同一个窗口内聚合。
• 冲突域划分：将全局规则冲突问题拆解为每个 key 内部的局部冲突检测。

3.3 Window：时间窗口内的规则聚合

Window 将无限流切分为有限的数据块，是规则冲突检测中实现“一段时间内规则触发次数统计”的核心机制。Flink 支持多种窗口类型：

// 滑动窗口示例：每 1 分钟统计过去 5 分钟内的规则触发次数
keyedStream
    .window(SlidingProcessingTimeWindows.of(Time.minutes(5), Time.minutes(1)))
    .aggregate(new RuleTriggerCountAggregator());

3.4 State：规则状态的持久化存储

State 是 Flink 提供的有状态计算能力，允许算子在处理过程中保存和访问中间数据。在规则冲突引擎中，State 用于存储：

• 规则触发计数器：记录每个规则在窗口内的触发次数。
• 冲突标记状态：标记某条规则是否已处于冲突状态。
• 规则依赖图：缓存规则之间的依赖关系，避免重复计算。

// 使用 ValueState 存储规则冲突标记
public class RuleConflictDetector extends RichFlatMapFunction<RuleEvent, ConflictResult> {
    private ValueState<Boolean> conflictState;

    @Override
    public void open(Configuration parameters) {
        ValueStateDescriptor<Boolean> descriptor =
            new ValueStateDescriptor<>("conflict-flag", Types.BOOLEAN);
        conflictState = getRuntimeContext().getState(descriptor);
    }

    @Override
    public void flatMap(RuleEvent event, Collector<ConflictResult> out) throws Exception {
        Boolean currentFlag = conflictState.value();
        if (currentFlag != null && currentFlag) {
            out.collect(new ConflictResult(event.getRuleId(), "ALREADY_IN_CONFLICT"));
        }
        // 更新状态逻辑...
    }
}

3.5 时间语义：事件时间与处理时间

Flink 提供三种时间语义，在规则冲突检测中需要根据业务需求选择：

3.6 核心概念在规则冲突处理中的协同

上述五个核心概念在规则冲突检测系统中协同工作，形成完整的数据处理链路：

1. DataStream 接收原始规则事件流。
2. KeyedStream 按规则 ID 分区，确保同一规则的事件进入同一处理单元。
3. Window 定义时间边界，将连续流切分为可评估的数据块。
4. State 持久化存储规则触发计数、冲突标记等中间结果。
5. 时间语义 决定窗口触发时机和事件归因方式。