2. 核心概念:特征服务定义、特征工程流水线、在线/离线特征、特征存储
在构建跨机房信用评分特征服务之前,必须统一四个核心概念的定义与边界。特征服务是面向在线推理的中间层,特征工程流水线是特征的生产过程,在线/离线特征决定了时效性与一致性策略,特征存储则是支撑低延迟访问的基础设施。本节逐一拆解这些概念,并建立它们之间的逻辑关系。
2.1 特征服务定义
特征服务(Feature Service)是一个面向在线推理场景的中间层系统,它屏蔽了底层特征存储的异构性,为信用评分模型提供统一、低延迟、高可用的特征访问接口。特征服务不是简单的 KV 缓存,它需要处理特征版本管理、特征组合、缺失值填充、跨机房同步等复杂逻辑。
| 维度 | 说明 |
|---|---|
| 核心职责 | 将原始特征数据转化为模型可直接使用的特征向量 |
| 接口类型 | gRPC / HTTP REST,批量与单条查询 |
| 延迟要求 | P99 < 10ms(同机房),P99 < 50ms(跨机房) |
| 关键能力 | 特征组合、版本管理、降级策略、一致性保障 |
架构要点:特征服务应设计为无状态层,所有状态下沉到特征存储。这样在跨机房部署时,特征服务实例可以独立扩缩容,不依赖本地持久化数据。
2.2 特征工程流水线
特征工程流水线(Feature Engineering Pipeline)是将原始数据加工为可用特征的全过程。在信用评分场景中,流水线通常包含以下阶段:
- 数据接入:从 Kafka、数据库、文件系统等源读取原始事件数据(如交易流水、还款记录)。
- 数据清洗:处理缺失值、异常值、重复数据,统一时间戳格式。
- 特征计算:执行聚合(如近30天总交易金额)、比率(如负债/收入比)、时序特征(如滑动窗口均值)。
- 特征编码:将类别特征转为数值(如 WOE 编码、One-Hot),连续特征做分箱或标准化。
- 特征存储:将计算结果写入在线/离线特征存储,并记录特征元数据。
2.3 在线特征与离线特征
信用评分场景中,特征根据时效性和计算方式分为在线特征与离线特征,两者在存储、延迟、一致性要求上存在显著差异。
| 对比维度 | 离线特征 | 在线特征 |
|---|---|---|
| 计算时机 | T+1 或小时级批量计算 | 实时或准实时(秒级) |
| 数据源 | 数仓、Hive、HDFS | Kafka、数据库 CDC、实时流 |
| 典型特征 | 近6个月逾期次数、年收入区间 | 当前负债率、最近1小时交易笔数 |
| 存储介质 | HBase / ClickHouse / 对象存储 | Redis / Memcached / 内存表 |
| 一致性要求 | 最终一致,允许分钟级延迟 | 强一致或读写一致(同机房) |
| 访问延迟 | 百毫秒到秒级 | 毫秒级(P99 < 5ms) |
设计原则:离线特征用于模型训练和批量评分,在线特征用于实时推理。跨机房部署时,在线特征需要做多机房同步,离线特征则通过中心化数仓分发。
2.4 特征存储
特征存储(Feature Store)是统一管理特征元数据、特征数据版本、在线/离线存储的中间层。它解决了特征复用、一致性、版本回溯等核心问题。在跨机房架构中,特征存储的设计直接影响数据同步复杂度和故障恢复速度。
2.5 核心概念关系总结
四个核心概念在信用评分特征服务中形成如下依赖关系:
- 特征工程流水线 生产出 在线特征 和 离线特征,分别写入对应的 特征存储。
- 特征服务 从 特征存储 中读取特征数据,组合后提供给信用评分模型。
- 跨机房部署时,特征存储 的同步策略决定了 特征服务 的数据一致性级别。
常见误区:不要将特征服务与特征存储混为一谈。特征服务是计算与路由层,特征存储是数据持久化层。在跨机房场景中,特征服务可以跨机房调用,但特征存储必须考虑数据分片与同步策略。