4、实时计算架构概览：流式计算与批处理对比、Lambda架构与Kappa架构、实时PSI计算的技术选型
在实时风控场景中，特征PSI（Population Stability Index）的计算对时效性有极高要求。传统批处理方式无法满足分钟级甚至秒级的监控需求，因此必须引入流式计算架构。本章将系统对比流式与批处理模式，剖析Lambda与Kappa两种主流架构的优劣，并给出实时PSI计算的技术选型建议。
4.1 流式计算 vs 批处理：核心差异
流式计算与批处理并非互斥，而是面向不同延迟与数据量级的设计哲学。下表从关键维度进行对比：
| 对比维度 | 批处理（Batch） | 流式计算（Streaming） |
|---|---|---|
| 数据范围 | 全量历史数据（T+1或小时级） | 实时到达的增量数据（秒/毫秒级） |
| 延迟要求 | 分钟~小时级 | 秒级~亚秒级 |
| 计算模型 | MapReduce / Spark SQL | Dataflow / Flink / Kafka Streams |
| 数据触发 | 定时调度（如每整点） | 事件驱动（每来一条数据即处理） |
| 容错机制 | 任务重跑（幂等性） | 状态快照 + 精确一次语义 |
| 典型场景 | 离线报表、模型训练、月度PSI | 实时监控、在线PSI、动态阈值 |
| 资源消耗 | 高吞吐、峰值资源 | 持续低资源、弹性伸缩 |
关键认知：实时PSI计算必须采用流式计算引擎，因为批处理无法满足“特征分布漂移的秒级告警”这一核心需求。但批处理仍可用于离线校准与回溯分析，两者形成互补。
4.2 Lambda 架构与 Kappa 架构
在实时风控系统中，架构选型直接影响PSI计算的准确性与运维复杂度。下面分别介绍两种主流架构，并通过SVG图展示其数据流。
4.2.1 Lambda 架构：批流分离
Lambda架构将数据管道分为批处理层（Batch Layer）和速度层（Speed Layer），最终通过服务层（Serving Layer）合并结果。批处理层保证全量数据的准确性，速度层提供低延迟的近似结果。
Lambda 架构在PSI场景的痛点：批处理层与速度层需要分别实现PSI计算逻辑，一旦特征分箱或统计口径变更，两套代码必须同步修改，极易出现偏差。此外，服务层合并结果时，批处理PSI与流处理PSI可能存在时间窗口不对齐的问题。
4.2.2 Kappa 架构：纯流一体
Kappa架构摒弃了独立的批处理层，所有数据均以流的形式处理。历史数据通过“重放”（Replay）机制从Kafka等消息队列重新消费，实现全量计算。该架构在实时PSI场景中越来越受欢迎。
推荐倾向：对于新建的实时风控PSI系统，建议优先考虑Kappa架构。它避免了批流代码不一致的问题，且Flink等引擎已具备成熟的状态管理与精确一次语义，足以支撑全量PSI计算。
4.3 实时PSI计算的技术选型
基于上述架构分析，实时PSI计算的技术选型需综合考虑计算引擎、消息队列、状态存储与监控告警四个层面。下表给出推荐方案：
| 技术层 | 推荐组件 | 选型理由 | PSI场景关键能力 |
|---|---|---|---|
| 流计算引擎 | Apache Flink | 低延迟、精确一次语义、丰富的窗口与状态API | 支持自定义窗口聚合、状态后端存储分箱统计量 |
| 消息队列 | Apache Kafka | 高吞吐、持久化、支持数据重放 | 作为统一数据管道，同时承载实时流与历史重放 |
| 状态存储 | RocksDB（Flink状态后端） | 本地磁盘存储、支持大状态、增量快照 | 存储特征分箱的频数统计，支持增量更新 |
| 结果存储 | Redis / HBase | 低延迟读写、支持TTL自动过期 | 缓存实时PSI结果，供风控决策引擎查询 |
| 监控告警 | Prometheus + Grafana | 指标采集灵活、告警规则丰富 | 监控PSI阈值、数据延迟、计算背压 |
4.3.1 选型决策流程
在实际项目中，可按以下步骤快速确定技术栈：
- 评估数据源：确认上游数据是否已接入Kafka，以及消息体是否包含特征字段与时间戳。
- 确定延迟要求：若PSI计算延迟需控制在5秒以内，必须选择Flink或Kafka Streams；若可接受分钟级，可考虑Spark Structured Streaming。
- 选择架构模式：团队有批处理历史资产且短期无法迁移，选Lambda；新建系统或可重构，选Kappa。
- 设计状态管理：根据特征数量与分箱数预估状态大小，决定使用RocksDB（大状态）还是Heap（小状态）。
- 定义输出接口：PSI结果写入Redis供在线服务查询，同时写入HBase用于离线回溯。
避坑提示：不要将PSI计算逻辑直接写在Kafka Connect或简单Consumer中，缺乏状态管理与窗口机制会导致结果不准确。务必使用成熟的流计算框架。
4.3.2 典型技术栈组合
以下是一套经过生产验证的实时PSI技术栈组合：
数据源层： Kafka（Topic: feature_event）
计算引擎层： Apache Flink（DataStream API + ProcessFunction）
状态后端： RocksDB（增量更新分箱频数）
结果层： Redis（缓存最近N个窗口的PSI值）
监控层： Prometheus（采集Flink指标） + Grafana（可视化看板）
告警层： AlertManager（PSI > 0.1 触发告警）
该组合在日均处理10亿条事件、500个特征维度的场景下，PSI计算延迟稳定在3秒以内，状态大小控制在每特征50KB以内。
4.4 本章小结
- 流式计算是实时PSI的基石，批处理仅用于离线校准。
- Lambda架构适合过渡期，Kappa架构是长期推荐方案。
- 技术选型应围绕Flink + Kafka + RocksDB + Redis构建，兼顾性能与运维成本。
- 下一章将深入Flink的窗口机制与状态后端配置，直接指导PSI代码实现。