2. 流式处理入门：流式计算概念、与批处理的对比、常见流式框架简介
在实时风控场景中，数据以毫秒级的速度持续产生，传统的“先存后算”模式无法满足毫秒级决策要求。流式处理（Stream Processing）正是为此而生——它允许系统在数据产生的瞬间进行计算、判断和响应，是风控决策链路的计算基石。
2.1 流式计算核心概念
流式计算将数据视为无界序列（Unbounded Sequence），数据持续到达，系统持续处理，永不等待完整数据集。核心要素包括：
- 事件（Event）：流中的最小数据单元，例如一次登录请求、一笔交易记录。
- 时间语义：事件时间（Event Time，实际发生时间）与处理时间（Processing Time，系统处理时间），风控场景通常依赖事件时间保证准确性。
- 状态（State）：跨事件维护的中间计算结果，如用户过去5分钟内的交易次数。
- 窗口（Window）：将无界流切分为有限片段进行聚合计算，如滚动窗口、滑动窗口、会话窗口。
- 背压（Backpressure）：当下游处理速度慢于上游数据产生速度时，系统自动调节流速的机制。
💡 风控场景映射： 用户每笔交易是一个“事件”；“状态”存储该用户的历史交易次数；“窗口”用于统计“过去5分钟内交易金额是否超过阈值”；“背压”保障系统在流量洪峰时不崩溃。
2.2 流式处理 vs 批处理：核心对比
传统批处理（如 MapReduce、Hive）以“静态数据集”为处理单元，数据先落地再计算，延迟通常在分钟到小时级别。流式处理则面向“动态数据流”，数据边到边算，延迟在毫秒到秒级。下表从风控视角进行对比：
| 对比维度 | 批处理 | 流式处理 |
|---|---|---|
| 数据模型 | 有界、静态数据集 | 无界、持续到达的数据流 |
| 处理延迟 | 分钟~小时级（需等待数据全部就绪） | 毫秒~秒级（数据到达即处理） |
| 触发方式 | 手动或定时调度 | 事件驱动（数据到达自动触发） |
| 状态管理 | 无状态或依赖外部存储 | 内置有状态计算，支持精确一次语义 |
| 典型风控场景 | 离线黑名单挖掘、月度报表 | 实时交易拦截、设备指纹关联、行为序列分析 |
| 资源模型 | 按批次分配资源，存在调度开销 | 常驻进程，资源持续占用，适合长运行任务 |
⚠️ 常见误区： 流式处理并非批处理的替代品，而是互补关系。风控系统中通常采用“流批一体”架构：流式计算负责毫秒级实时决策，批处理负责小时级模型训练和事后审计。
2.3 流式计算架构总览
下图展示了一个通用流式处理系统的核心组件与数据流转关系，这也是实时风控决策链路的基础架构：
2.4 主流流式框架对比
当前业界三大主流流式框架——Apache Flink、Spark Streaming、Apache Storm——在设计哲学、延迟保证、状态管理等方面存在显著差异。下表从风控系统选型角度进行对比：
| 特性 | Apache Flink | Spark Streaming | Apache Storm |
|---|---|---|---|
| 处理模型 | 原生流式（逐事件处理） | 微批处理（Micro-Batch） | 原生流式（逐元组处理） |
| 延迟 | 毫秒级 | 秒级（批次间隔决定） | 毫秒级 |
| 状态管理 | 内置强状态管理，支持精确一次语义 | 基于 DStream 的状态操作，依赖 Checkpoint | 需自行管理状态（Trident 提供有限支持） |
| 时间语义 | 完美支持事件时间、处理时间、水位线 | 支持事件时间（需配置） | 主要支持处理时间，事件时间需额外实现 |
| 背压机制 | 自动背压（基于信用度协议） | 基于批次大小的被动调节 | 需手动配置背压策略 |
| 容错保证 | 精确一次（Exactly-Once） | 精确一次（通过 WAL 和 Checkpoint） | 至少一次（At-Least-Once），Trident 支持精确一次 |
| 风控适用性 | ⭐⭐⭐⭐⭐ 最适合复杂事件处理、滑动窗口、状态匹配 | ⭐⭐⭐⭐ 适合秒级风控，生态丰富 | ⭐⭐⭐ 适合简单过滤转发，状态管理能力弱 |
2.5 框架选型建议
针对实时风控场景，选型时需重点评估以下维度：
- 延迟敏感度：毫秒级决策（如交易拦截）必须选择 Flink 或 Storm；秒级决策（如批量评分）可接受 Spark Streaming。
- 状态复杂度：风控规则常涉及跨事件状态（如“5分钟内3次失败登录”），Flink 的内置状态管理能大幅降低开发复杂度。
- 事件时间准确性：风控审计要求严格的事件时间对齐，Flink 的水位线机制是业界最佳实践。
- 运维成熟度：Flink 社区活跃度最高，与 Kafka、Hadoop 生态集成最完善，已成为实时风控领域的事实标准。
🎯 课程选型结论： 本课程后续实战章节将基于 Apache Flink 构建风控决策链路。Flink 在状态管理、事件时间支持、精确一次语义方面的优势，与风控场景对准确性、低延迟、复杂规则匹配的需求高度契合。
2.6 本章小结
流式处理是实时风控系统的计算核心，其“无界数据、持续计算、状态驱动”的特性与传统批处理形成鲜明对比。Flink、Spark Streaming、Storm 三大框架各有侧重，其中 Flink 凭借原生流式架构、强状态管理和精确一次语义，成为实时风控领域的主流选择。掌握流式处理的基本概念和框架差异，是后续构建风控决策链路的第一步。