4. 实时计算概述：流式计算与批处理的区别、实时计算的核心特征
在变更风险评估场景中，风险指标需要随着变更事件的产生而实时更新，传统的“先存储、后计算”的批处理模式无法满足秒级甚至毫秒级的风险感知需求。本章将系统阐述流式计算与批处理的本质差异，并深入解析实时计算的三大核心特征：低延迟、高吞吐与状态管理。
4.1 流式计算 vs. 批处理：核心差异
批处理（Batch Processing）与流式计算（Stream Processing）代表了两种截然不同的数据处理哲学。批处理假设数据是“有界的”（Bounded），即数据在计算开始前已全部到达；而流式计算则面向“无界数据”（Unbounded），数据持续不断地产生，计算引擎需要以“事件驱动”的方式持续处理。
| 对比维度 | 批处理（Batch） | 流式计算（Stream） |
|---|---|---|
| 数据模型 | 有界数据集（静态表） | 无界数据流（动态流） |
| 触发方式 | 定时调度（如每小时/每天） | 事件到达即触发 |
| 延迟 | 分钟级～小时级 | 毫秒级～秒级 |
| 计算模式 | 全量扫描 + 聚合 | 增量处理 + 持续聚合 |
| 容错机制 | 重算整个分区/任务 | 基于状态快照 + 精确一次语义 |
| 典型场景 | 离线报表、历史趋势分析 | 实时监控、风险告警、在线特征计算 |
变更风险视角： 批处理模式下，一个变更事件从发生到被纳入风险评分，可能需要等待数十分钟甚至数小时。流式计算则允许在变更事件到达后的 500ms 内 完成风险等级判定，这是实现“变更即感知”的技术基石。
4.2 实时计算的核心特征
实时计算引擎（如 Apache Flink、Kafka Streams）之所以能够胜任变更风险评估这类场景，是因为它们具备以下三个相互关联的核心特征。
4.2.1 低延迟（Low Latency）
低延迟是实时计算最直观的特征。它要求从事件产生到计算结果输出之间的端到端延迟控制在秒级甚至毫秒级。在变更风险场景中，低延迟意味着风险评分引擎能够紧跟变更事件的节奏，避免风险窗口的扩大。
- 记录级处理： 每条变更事件到达后立即被处理，无需等待批次边界。
- 流水线优化： 数据在算子之间以流水线方式传递，减少序列化/反序列化开销。
- 轻量级调度： 使用事件驱动调度而非微批次调度，消除调度间隔带来的固定延迟。
4.2.2 高吞吐（High Throughput）
高吞吐与低延迟并非矛盾，而是需要协同优化的两个维度。在变更风险场景中，一个大型平台每天可能产生数百万条变更事件，实时计算引擎必须能够在保证低延迟的同时，稳定处理高并发数据流。
- 并行化架构： 数据流被划分为多个分区（Partition），每个分区由独立的算子实例处理。
- 异步与背压： 算子之间采用异步通信，并通过背压（Backpressure）机制实现流量控制，防止系统过载。
- 增量聚合： 仅对新增数据进行计算，避免全量扫描，大幅降低计算量。
4.2.3 状态管理（State Management）
状态管理是流式计算区别于简单“事件过滤”的核心能力。变更风险评估往往需要跨多个事件进行关联分析（如：同一服务在过去5分钟内的变更次数、当前变更与上一次变更的时间间隔等），这要求计算引擎能够维护并高效访问中间状态。
关键概念： 状态（State）是流式计算中算子内部维护的、用于记录历史信息的本地数据。Flink 等引擎将状态分为 Keyed State（按 key 分区的状态）和 Operator State（算子级别的状态），并提供了精确一次的状态一致性保证。
状态管理需要解决以下核心问题：
- 状态存储： 状态通常存储在本地内存或 RocksDB 中，支持大规模状态的高效读写。
- 状态容错： 通过分布式快照（Checkpoint）机制，定期将状态持久化到远程存储（如 HDFS、S3），在故障发生时可以精确恢复到最近一次快照。
- 状态迁移： 当任务并行度调整或作业升级时，状态能够在不同算子实例之间重新分配。
4.3 流式计算中的时间语义
理解时间语义是掌握实时计算的关键。在变更风险评估中，不同的时间概念直接影响风险计算的准确性。
| 时间类型 | 定义 | 变更风险场景示例 |
|---|---|---|
| 事件时间（Event Time） | 事件实际发生的时间戳，由数据源携带 | 变更操作在 CMDB 中记录的实际执行时间 |
| 摄入时间（Ingestion Time） | 事件到达实时计算引擎的时间 | 变更事件被 Kafka 主题接收的时间 |
| 处理时间（Processing Time） | 事件被算子处理的当前机器时间 | 风险评分算子实际执行计算的时间点 |
注意： 在变更风险评估中，应优先使用 事件时间 进行窗口聚合和状态更新。如果使用处理时间，当系统出现反压或故障恢复时，风险评分的时间基准会发生偏移，导致误判。事件时间配合水位线（Watermark）机制，可以在乱序到达的场景下仍保持计算准确性。
4.4 流式计算架构概览
一个典型的变更风险实时计算架构通常包含以下层次：
- 数据接入层： 使用 Kafka/Pulsar 等消息队列作为变更事件的统一缓冲层，解耦数据生产与消费。
- 计算层： 基于 Flink/Spark Streaming 等引擎，执行风险评分、频率统计、依赖分析等核心逻辑。
- 状态后端： 使用 RocksDB（本地）或 HDFS（远程）存储算子状态，支持大规模状态容错。
- 结果输出层： 将实时风险评分结果写入告警系统、实时大屏或下游特征存储。
4.5 本章小结
- 流式计算与批处理的本质区别在于数据模型（有界 vs. 无界）和触发方式（定时 vs. 事件驱动）。
- 实时计算的三大核心特征——低延迟、高吞吐、状态管理——共同支撑了变更风险评估的实时性、可靠性和准确性。
- 事件时间语义是保证风险评分时间基准正确的关键，配合水位线机制应对乱序数据。
- 典型的实时计算架构采用“消息队列 + 流计算引擎 + 状态后端 + 结果输出”的分层设计，各层职责清晰，便于扩展和维护。