4. 批流一体架构原理：Lambda 架构与 Kappa 架构对比、批处理与流处理的统一调度模型

在金融图谱 Feature Store 的实战落地中，数据时效性是决定模型效果的关键因素。传统离线特征计算（T+1）无法满足实时风控、秒级授信等场景需求，而纯流式计算又难以处理复杂的历史回溯与数据修正。批流一体架构正是为解决这一矛盾而生。本章深入剖析 Lambda 与 Kappa 两种主流架构的设计哲学、优劣对比，并给出在 Feature Store 场景下的统一调度模型。

4.1 Lambda 架构：批处理与流处理的经典分层

Lambda 架构由 Nathan Marz 提出，核心思想是将数据管道分为三个逻辑层：批处理层（Batch Layer）、速度层（Speed Layer）和服务层（Serving Layer）。批处理层负责全量历史数据的精确计算，速度层负责实时增量数据的低延迟处理，服务层将两者结果合并对外提供服务。

4.2 Kappa 架构：流式优先的简化模型

Kappa 架构由 Jay Kreps 提出，主张用单一的流处理引擎同时处理实时数据和历史数据。其核心思想是：所有数据（包括历史数据）都视为流，通过重放（Replay）消息队列中的全量数据来完成批处理任务。Kappa 架构去掉了独立的批处理层，架构更简洁，但要求流处理引擎具备强大的状态管理和回溯能力。

4.3 Lambda 与 Kappa 架构对比

4.4 批处理与流处理的统一调度模型

在 Feature Store 批流一体实战中，统一调度模型需要解决三个核心问题：数据一致性、任务编排和状态管理。以下给出一个基于 Flink + Spark + 统一元数据中心 的调度模型。

4.4.1 模型架构

• 统一元数据中心： 存储特征定义、数据源映射、调度策略、版本信息。使用 Hive Metastore 或自研 Feature Registry。
• 批处理引擎： Spark 负责 T+1 全量特征计算、历史数据修正、特征回填。
• 流处理引擎： Flink 负责实时特征计算、事件时间窗口聚合、状态快照。
• 统一调度器： 基于 Apache Airflow 或自研调度框架，统一管理批任务和流任务的启停、依赖、重试。
• 特征存储： 批特征写入 HBase/ClickHouse，实时特征写入 Redis/内存表，服务层通过统一 API 合并读取。

4.4.2 调度策略示例

# 统一调度 DAG 示例 (Airflow 伪代码)
dag_id = "feature_store_batch_stream_unified"

# 批处理任务：每日凌晨 2:00 执行全量特征计算
batch_task = SparkJob(
    task_id="batch_feature_compute",
    spark_script="feature_batch.py",
    schedule="0 2 * * *",
    depends_on=["data_quality_check"]
)

# 流处理任务：7x24 运行，实时消费 Kafka 事件
stream_task = FlinkJob(
    task_id="stream_feature_compute",
    flink_jar="feature-stream.jar",
    parallelism=8,
    schedule="continuous",
    checkpoint_interval="60s"
)

# 数据修正任务：当批处理完成后，触发实时状态修正
correction_task = FlinkSavepointTask(
    task_id="stream_state_correction",
    trigger_after=batch_task,
    action="align_batch_view"
)

# 特征发布任务：批流合并后更新线上特征
publish_task = FeaturePublishTask(
    task_id="publish_unified_feature",
    depends_on=[batch_task, correction_task]
)

4.4.3 统一调度核心流程

1. 元数据同步： 批任务和流任务从统一元数据中心读取同一份特征定义，确保计算逻辑一致。
2. 水位线对齐： 流任务使用事件时间，批任务使用业务日期，通过统一时间戳映射保证时间窗口对齐。
3. 状态快照与恢复： 流任务定期做 Checkpoint，批任务完成后触发 Savepoint，用于数据修正时回滚或重放。
4. 特征合并： 服务层根据特征版本号和时间戳，优先读取实时特征，若实时特征缺失则回退到批特征。
5. 监控告警： 统一监控批任务产出延迟、流任务数据延迟、特征一致性校验结果。