4、特征计算引擎：实时特征计算（Flink/Spark Streaming）、离线特征计算（Hive/Spark）、Lambda架构在特征中的应用

在风控系统中，特征计算引擎是连接原始数据与模型决策的核心枢纽。不同时效性要求的特征需要采用不同的计算范式：实时特征用于拦截交易、登录等在线环节，离线特征用于模型训练、批量回溯与报表分析。本章深入剖析三种主流计算引擎的技术选型与架构融合策略。

4.1 实时特征计算：Flink 与 Spark Streaming

实时特征计算要求数据从产生到特征落地的延迟在秒级甚至毫秒级，常用于设备指纹聚合、行为频次统计、时序窗口计算等场景。

实时特征计算典型流程（Flink）

// Flink SQL 示例：实时计算过去5分钟用户IP聚合特征
CREATE TABLE user_click (
  user_id STRING,
  ip STRING,
  click_time TIMESTAMP(3),
  WATERMARK FOR click_time AS click_time - INTERVAL '10' SECOND
) WITH (
  'connector' = 'kafka',
  'topic' = 'click_events',
  'properties.bootstrap.servers' = 'kafka:9092',
  'format' = 'json'
);

CREATE TABLE ip_feature_sink (
  user_id STRING,
  ip_count BIGINT,
  window_start TIMESTAMP(3),
  window_end TIMESTAMP(3)
) WITH (
  'connector' = 'redis',
  'format' = 'json',
  'redis.mode' = 'cluster'
);

INSERT INTO ip_feature_sink
SELECT
  user_id,
  COUNT(DISTINCT ip) AS ip_count,
  TUMBLE_START(click_time, INTERVAL '5' MINUTE) AS window_start,
  TUMBLE_END(click_time, INTERVAL '5' MINUTE) AS window_end
FROM user_click
GROUP BY
  TUMBLE(click_time, INTERVAL '5' MINUTE),
  user_id;

4.2 离线特征计算：Hive 与 Spark

离线特征计算面向 T+1 或小时级批量处理，覆盖历史特征回溯、训练样本生成、长周期统计特征（如“过去30天用户总交易金额”）。

离线特征计算典型流程（Spark SQL）

-- Spark SQL 示例：生成用户历史交易特征宽表
CREATE OR REPLACE TEMP VIEW user_txn_features AS
SELECT
  user_id,
  COUNT(*) AS txn_cnt_30d,
  SUM(amount) AS txn_amt_30d,
  AVG(amount) AS txn_avg_amt_30d,
  MAX(amount) AS txn_max_amt_30d,
  COUNT(DISTINCT merchant_id) AS merchant_cnt_30d,
  COUNT(DISTINCT ip) AS ip_cnt_30d,
  -- 夜间交易占比
  SUM(CASE WHEN HOUR(create_time) BETWEEN 0 AND 5 THEN 1 ELSE 0 END) * 1.0 / COUNT(*) AS night_txn_ratio
FROM raw_txn
WHERE dt >= DATE_SUB(CURRENT_DATE, 30)
GROUP BY user_id;

-- 写入 Hive 分区表
INSERT OVERWRITE TABLE dwd.user_feature_30d PARTITION(dt = '${biz_date}')
SELECT * FROM user_txn_features;

4.3 Lambda 架构在特征中的应用

单一的计算引擎难以同时满足低延迟与高吞吐的极端需求。Lambda 架构将特征计算拆分为实时批处理层（Speed Layer）与离线批处理层（Batch Layer），通过服务层（Serving Layer）合并结果，兼顾时效性与准确性。

Lambda 架构特征合并策略

4.4 计算引擎选型决策矩阵