2. 核心概念:特征服务定义、特征工程流水线、在线/离线特征、特征存储

在构建跨机房信用评分特征服务之前,必须统一四个核心概念的定义与边界。特征服务是面向在线推理的中间层,特征工程流水线是特征的生产过程,在线/离线特征决定了时效性与一致性策略,特征存储则是支撑低延迟访问的基础设施。本节逐一拆解这些概念,并建立它们之间的逻辑关系。

2.1 特征服务定义

特征服务(Feature Service)是一个面向在线推理场景的中间层系统,它屏蔽了底层特征存储的异构性,为信用评分模型提供统一、低延迟、高可用的特征访问接口。特征服务不是简单的 KV 缓存,它需要处理特征版本管理、特征组合、缺失值填充、跨机房同步等复杂逻辑。

维度 说明
核心职责 将原始特征数据转化为模型可直接使用的特征向量
接口类型 gRPC / HTTP REST,批量与单条查询
延迟要求 P99 < 10ms(同机房),P99 < 50ms(跨机房)
关键能力 特征组合、版本管理、降级策略、一致性保障
架构要点:特征服务应设计为无状态层,所有状态下沉到特征存储。这样在跨机房部署时,特征服务实例可以独立扩缩容,不依赖本地持久化数据。

2.2 特征工程流水线

特征工程流水线(Feature Engineering Pipeline)是将原始数据加工为可用特征的全过程。在信用评分场景中,流水线通常包含以下阶段:

  1. 数据接入:从 Kafka、数据库、文件系统等源读取原始事件数据(如交易流水、还款记录)。
  2. 数据清洗:处理缺失值、异常值、重复数据,统一时间戳格式。
  3. 特征计算:执行聚合(如近30天总交易金额)、比率(如负债/收入比)、时序特征(如滑动窗口均值)。
  4. 特征编码:将类别特征转为数值(如 WOE 编码、One-Hot),连续特征做分箱或标准化。
  5. 特征存储:将计算结果写入在线/离线特征存储,并记录特征元数据。
特征工程流水线(Pipeline) 数据接入 数据清洗 特征计算 特征编码 特征存储 说明:流水线通常使用 Spark/Flink 等批流一体引擎执行,每日定时调度(离线)或 实时触发(在线)。特征计算阶段是性能瓶颈,需关注窗口聚合与状态管理。 Kafka / DB / HDFS 在线存储 / 离线数仓

2.3 在线特征与离线特征

信用评分场景中,特征根据时效性和计算方式分为在线特征与离线特征,两者在存储、延迟、一致性要求上存在显著差异。

对比维度 离线特征 在线特征
计算时机 T+1 或小时级批量计算 实时或准实时(秒级)
数据源 数仓、Hive、HDFS Kafka、数据库 CDC、实时流
典型特征 近6个月逾期次数、年收入区间 当前负债率、最近1小时交易笔数
存储介质 HBase / ClickHouse / 对象存储 Redis / Memcached / 内存表
一致性要求 最终一致,允许分钟级延迟 强一致或读写一致(同机房)
访问延迟 百毫秒到秒级 毫秒级(P99 < 5ms)
设计原则:离线特征用于模型训练和批量评分,在线特征用于实时推理。跨机房部署时,在线特征需要做多机房同步,离线特征则通过中心化数仓分发。

2.4 特征存储

特征存储(Feature Store)是统一管理特征元数据、特征数据版本、在线/离线存储的中间层。它解决了特征复用、一致性、版本回溯等核心问题。在跨机房架构中,特征存储的设计直接影响数据同步复杂度和故障恢复速度。

特征存储架构(Feature Store) 特征元数据管理(注册中心) 离线特征存储 Hive / HBase / S3 在线特征存储 Redis / Memcached 特征服务(统一查询接口) 说明:特征存储通过元数据层统一管理特征 Schema、版本、数据源映射,在线/离线存储各自独立部署。

2.5 核心概念关系总结

四个核心概念在信用评分特征服务中形成如下依赖关系:

  • 特征工程流水线 生产出 在线特征 和 离线特征,分别写入对应的 特征存储。
  • 特征服务 从 特征存储 中读取特征数据,组合后提供给信用评分模型。
  • 跨机房部署时,特征存储 的同步策略决定了 特征服务 的数据一致性级别。
常见误区:不要将特征服务与特征存储混为一谈。特征服务是计算与路由层,特征存储是数据持久化层。在跨机房场景中,特征服务可以跨机房调用,但特征存储必须考虑数据分片与同步策略。