3. 实时系统基础：实时数据流架构、消息队列（Kafka）、流处理引擎（Flink/Spark Streaming）简介

在特征样本偏差校验的实时场景中，数据从产生到进入模型推理的延迟通常需要控制在秒级甚至毫秒级。这要求系统具备高吞吐、低延迟、可容错的数据处理能力。本章将介绍支撑实时特征校验的三大核心组件：实时数据流架构、消息队列（Kafka）和流处理引擎（Flink / Spark Streaming）。

3.1 实时数据流架构

实时数据流架构是一种持续处理数据记录（事件）的软件架构模式。与传统的批处理不同，数据一旦产生即被捕获、传输并处理，无需等待固定的时间窗口。典型的实时数据流架构包含以下层级：

下图展示了一个典型的实时特征校验数据流架构：

3.2 消息队列：Apache Kafka

Kafka 是实时数据流架构中最核心的消息中间件。它本质上是一个分布式、分区化、多副本的提交日志（Commit Log）。在特征偏差校验场景中，Kafka 承担着数据缓冲和解耦的关键角色。

3.2.1 Kafka 核心概念

3.2.2 Kafka 在实时校验中的关键配置

# 生产者配置（高可靠模式）
acks=all
retries=3
enable.idempotence=true
compression.type=snappy

# 消费者配置（精确一次语义）
enable.auto.commit=false
isolation.level=read_committed
max.poll.records=500

3.3 流处理引擎：Flink 与 Spark Streaming

流处理引擎负责对 Kafka 中的实时特征事件进行计算、聚合、校验。目前业界最主流的两个引擎是 Apache Flink 和 Spark Streaming。两者在架构设计上存在本质差异。

3.3.1 核心差异对比

3.3.2 Flink 实时特征校验作业示例

以下是一个使用 Flink DataStream API 进行特征偏差校验的简化代码片段：

// 1. 创建执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

// 2. 从 Kafka 消费特征事件
DataStream<FeatureEvent> featureStream = env
    .addSource(new FlinkKafkaConsumer011<>(
        "feature-raw-events",
        new FeatureEventDeserializer(),
        kafkaProps
    ))
    .assignTimestampsAndWatermarks(
        WatermarkStrategy.<FeatureEvent>forBoundedOutOfOrderness(Duration.ofSeconds(5))
            .withTimestampAssigner((event, timestamp) -> event.getEventTime())
    );

// 3. 按特征 ID 分组，进行偏差校验
DataStream<DeviationAlert> alertStream = featureStream
    .keyBy(FeatureEvent::getFeatureId)
    .process(new DeviationCheckProcessFunction(threshold = 0.15));

// 4. 将告警结果写入 Kafka
alertStream.addSink(new FlinkKafkaProducer011<>(
    "feature-deviation-alerts",
    new DeviationAlertSerializer(),
    kafkaProps
));

env.execute("Real-time Feature Deviation Check Job");

3.4 实时数据流架构总结

下图总结了 Kafka + Flink/Spark Streaming 在实时特征偏差校验中的协作关系：