📚 课程目录第4章实时特征计算引擎

4. 实时特征计算引擎：流式计算原理

实时风控网关的核心是毫秒级完成特征计算。传统批处理无法满足延迟要求，必须依赖流式计算引擎。本章深入 Flink / Spark Streaming 的底层原理，重点解析事件时间、处理时间与水位线机制，帮助你在特征看板中准确设计时间窗口特征。

4.1 流式计算 vs 批处理

对比维度	批处理（Batch）	流式计算（Streaming）
数据到达	固定数据集，一次性读取	无界数据流，持续到达
延迟要求	分钟~小时级	毫秒~秒级
触发计算	手动或定时触发	事件到达即触发
状态管理	无状态或外部存储	内置有状态计算
典型引擎	Hive, Spark SQL	Flink, Spark Streaming

  风控场景选择依据： 实时风控网关要求特征延迟 < 100ms，必须使用流式计算引擎。Flink 在事件时间语义和精确一次语义上更优，是当前主流选择。

4.2 事件时间 vs 处理时间

时间语义是流式计算中最容易混淆的概念，直接决定特征计算的准确性。

事件时间（Event Time）： 事件实际发生的时间，嵌入在数据记录中（如用户点击时间戳）。不受系统处理速度影响，能准确反映业务时序。
处理时间（Processing Time）： 事件到达计算引擎时的系统时钟时间。延迟低但结果不稳定，受系统负载、网络抖动影响。
摄入时间（Ingestion Time）： 事件进入流处理系统的时间，介于两者之间，较少使用。

时间语义	准确性	延迟	适用场景
事件时间	高（反映真实顺序）	需等待乱序数据	风控特征、交易流水、日志分析
处理时间	低（受系统影响）	最低	实时监控、简单计数、告警

风控陷阱： 如果使用处理时间计算“过去5分钟交易次数”，当系统出现延迟积压时，特征值会严重失真。事件时间是风控特征计算的唯一正确选择。

4.3 水位线机制（Watermark）

水位线是流式计算中解决乱序问题的核心机制。它表示“当前事件时间进度”，告诉引擎：在此时间戳之前的数据已经全部到达，可以触发窗口计算。

4.3.1 水位线工作原理

水位线 = 当前观察到的事件时间最大值 - 允许的最大乱序延迟
当水位线超过窗口结束时间时，触发该窗口的计算
迟到的数据（水位线之后到达）可以选择丢弃或发送到侧输出流

最佳实践： 风控场景中，建议设置 2~5 秒的乱序容忍延迟。太短会导致窗口频繁重新计算，太长会增加特征延迟。

4.4 Flink 与 Spark Streaming 架构对比

特性	Flink	Spark Streaming
核心模型	真正的逐事件流处理	微批次（Micro-batch）
延迟	亚秒级（~10ms）	秒级（~500ms）
事件时间支持	原生支持，水位线内置	需额外配置，精度较低
状态管理	Keyed State + RocksDB	DStream 状态 + 外部存储
精确一次语义	端到端支持	需依赖外部事务
风控适用性	★★★★★	★★★☆☆

  架构选型建议： 实时风控网关推荐 Flink。其事件时间语义、低延迟、精确一次语义与风控场景高度匹配。Spark Streaming 更适合延迟要求不高的准实时场景。

4.5 实时特征计算引擎架构

一个完整的实时特征计算引擎包含以下核心组件：

数据源（Source）： Kafka / Pulsar 消息队列，接收网关上报的原始事件
时间戳提取器： 从事件中解析业务时间戳，分配事件时间
水位线生成器： 周期性生成水位线，控制窗口触发
窗口算子： 滑动窗口 / 滚动窗口 / 会话窗口，聚合计算特征
状态后端： 存储中间状态（如用户最近100笔交易）
特征输出（Sink）： 写入特征看板数据库或直接返回风控决策引擎

4.6 特征计算代码示例（Flink SQL）

以下是一个实时风控特征计算的 Flink SQL 示例，计算每个用户过去5分钟的累计交易金额：

-- 定义数据源表
CREATE TABLE transaction_source (
  user_id STRING,
  amount DOUBLE,
  event_time TIMESTAMP(3),
  WATERMARK FOR event_time AS event_time - INTERVAL '3' SECOND
) WITH (
  'connector' = 'kafka',
  'topic' = 'transaction-events',
  'properties.bootstrap.servers' = 'localhost:9092',
  'format' = 'json'
);

-- 定义特征输出表
CREATE TABLE feature_sink (
  user_id STRING,
  window_start TIMESTAMP(3),
  window_end TIMESTAMP(3),
  total_amount DOUBLE,
  transaction_count BIGINT
) WITH (
  'connector' = 'jdbc',
  'url' = 'jdbc:mysql://localhost:3306/risk_feature',
  'table-name' = 'user_transaction_features'
);

-- 滑动窗口特征计算（窗口大小5分钟，滑动步长1分钟）
INSERT INTO feature_sink
SELECT
  user_id,
  TUMBLE_START(event_time, INTERVAL '5' MINUTE) AS window_start,
  TUMBLE_END(event_time, INTERVAL '5' MINUTE) AS window_end,
  SUM(amount) AS total_amount,
  COUNT(*) AS transaction_count
FROM transaction_source
GROUP BY
  user_id,
  TUMBLE(event_time, INTERVAL '5' MINUTE);

代码要点： WATERMARK 语句定义了3秒的乱序容忍延迟。TUMBLE 是滚动窗口，如需滑动窗口可使用 HOP 函数。特征结果写入 MySQL 后，特征看板可直接查询。

4.7 水位线调优实战

场景	乱序延迟设置	水位线生成周期	说明
线上交易风控	2~3秒	500ms	网络延迟稳定，乱序少
移动端埋点	5~10秒	1秒	弱网环境，乱序严重
离线同步数据	30秒~1分钟	5秒	批量写入，时间戳可能偏差大

调优警告： 水位线设置过小会导致窗口频繁重新计算，增加系统负载；设置过大会增加特征延迟。建议先使用生产流量回放测试，观察迟到数据比例后再调整。

4.8 本章小结

实时风控特征计算必须使用事件时间语义，确保特征准确性
水位线是处理乱序数据的核心机制，需根据业务场景合理设置
Flink 在事件时间支持和低延迟方面优于 Spark Streaming，是风控场景首选
特征计算引擎架构包含：数据源 → 时间戳提取 → 水位线生成 → 窗口计算 → 状态管理 → 特征输出
水位线调优需要平衡准确性与延迟，建议通过流量回放确定最佳参数