2. 批流一体技术选型：Lambda 架构与 Kappa 架构对比及引擎选型依据
在金融特征平台建设中，技术选型直接决定了系统的实时性、一致性与运维复杂度。本章聚焦两大核心决策：架构模式（Lambda vs Kappa）与计算引擎（Spark/Flink Batch vs Flink Streaming），为批流一体落地提供可操作的选型依据。
2.1 Lambda 架构与 Kappa 架构对比
Lambda 架构是业界经典的“批+流”分离模式，而 Kappa 架构则试图用统一的流引擎覆盖全场景。下表从金融特征平台的视角进行关键维度对比：
| 对比维度 | Lambda 架构 | Kappa 架构 |
|---|---|---|
| 核心思想 | 批处理层（Batch Layer）+ 速度层（Speed Layer）+ 服务层（Serving Layer） | 仅保留流处理层，用重放（Replay）替代批处理 |
| 数据一致性 | 批处理层保证最终精确，速度层提供低延迟近似结果 | 通过事件时间（Event Time）与状态后端保证精确一次语义 |
| 运维复杂度 | 高：需维护两套代码、两套调度、两套存储 | 中：一套代码、一套引擎，但需管理消息队列回溯能力 |
| 金融适用场景 | 离线风控模型训练、T+1 报表、历史数据回溯 | 实时风控、实时指标计算、在线特征更新 |
| 资源消耗 | 较高：批与流资源独立部署，存在冗余 | 中等：统一资源池，但流处理长运行需持续占用 |
| 数据回溯能力 | 强：批处理可直接重算任意历史分区 | 依赖消息队列保留时长与存储容量 |
金融特征平台选型建议： 对于同时存在“离线模型训练”与“实时特征计算”的混合场景，建议采用Lambda 架构作为顶层框架，但将批处理层与速度层的计算引擎统一为 Flink（Flink Batch + Flink Streaming），以降低代码维护成本。纯实时场景（如高频交易特征）可优先考虑 Kappa 架构。
2.2 批处理引擎选型：Spark Batch vs Flink Batch
在 Lambda 架构的批处理层中，Spark Batch 与 Flink Batch 是两大主流选择。金融特征平台对批处理的核心要求包括：大规模历史数据回溯能力、与流处理代码的统一性、资源弹性。
| 对比维度 | Spark Batch | Flink Batch |
|---|---|---|
| 执行模型 | 微批次（Micro-batch），按时间窗口切分 | 流水线式（Pipelined），基于算子链 |
| 历史数据回溯 | 强：支持大规模 Shuffle，适合 TB 级全量重算 | 中等：适合 GB~TB 级，超大 Shuffle 需调优 |
| 与流处理代码统一性 | 低：Spark Streaming 与 Spark Batch API 差异较大 | 高：Flink Batch 与 Flink Streaming 共用 DataStream API |
| 金融典型场景 | 离线模型训练数据准备、T+1 报表、全量特征回溯 | 近实时特征计算、小批量数据修正、流批混合任务 |
| 资源调度 | YARN / Kubernetes，动态资源分配成熟 | YARN / Kubernetes，动态资源分配较新 |
选型建议： 如果团队已有 Spark 技术栈且以离线大规模计算为主，保留 Spark Batch 作为批处理层是稳妥选择。如果团队希望最大化代码复用，减少批流两套代码的维护成本，推荐使用 Flink Batch 作为批处理层，与 Flink Streaming 共用同一套 API 和状态后端。
2.3 流处理引擎选型：Flink Streaming 核心优势
在金融特征平台的流处理层中，Flink Streaming 已成为事实标准。其核心优势体现在以下方面：
- 事件时间（Event Time）语义：天然支持乱序数据，结合 Watermark 机制，保证金融交易数据的时序准确性。
- 精确一次（Exactly-Once）语义：通过分布式快照（Checkpoint）与两阶段提交（Two-Phase Commit），确保特征计算不丢不重。
- 状态管理（State Backend）：支持 RocksDB 与 Heap 状态后端，适合金融场景下的大状态特征计算（如滑动窗口均值、累计计数）。
- SQL/Table API 支持：降低特征开发门槛，分析师可直接用 SQL 定义实时特征。
2.4 批流一体引擎选型决策矩阵
综合以上分析，以下决策矩阵可帮助金融特征平台团队快速定位技术选型：
| 业务场景 | 推荐架构 | 批处理引擎 | 流处理引擎 | 核心考量 |
|---|---|---|---|---|
| 离线模型训练 + 实时特征 | Lambda | Spark Batch | Flink Streaming | Spark 生态成熟，离线能力强 |
| 近实时特征 + 代码统一 | Lambda | Flink Batch | Flink Streaming | 一套代码，降低维护成本 |
| 纯实时风控 / 高频交易 | Kappa | — | Flink Streaming | 低延迟，消息队列重放 |
| 历史数据大规模回溯 | Lambda | Spark Batch | — | TB 级 Shuffle 性能 |
避坑提示： 不要盲目追求“全 Kappa”架构。在金融场景中，离线模型训练通常需要全量历史数据，而消息队列的保留时长有限（通常 7~30 天），无法满足数月甚至数年的回溯需求。此时 Lambda 架构的批处理层仍是必要补充。
2.5 选型总结与落地建议
- 架构层面：推荐以 Lambda 架构为顶层框架，批处理层与速度层统一使用 Flink 引擎（Flink Batch + Flink Streaming），实现代码与运维的统一。
- 引擎层面：批处理层优先选择 Flink Batch（若团队 Flink 能力较强）或 Spark Batch（若离线生态依赖重）；流处理层固定使用 Flink Streaming。
- 存储层面：批处理层输出至 Hive/Parquet，流处理层输出至 HBase/Redis，服务层统一对外提供特征 API。
- 运维层面：建立统一的 CI/CD 流水线，批流任务共用同一套监控告警体系（如 Prometheus + Grafana）。