1. 课程导论：实时特征计算背景、因子库与特征服务实践
1.1 实时特征计算的业务背景
在互联网与物联网场景中，业务决策对时效性的要求已从“T+1”演进到“毫秒级”。实时特征计算正是支撑这一转变的核心技术——它从持续流入的原始数据中提取、变换并聚合出可用于模型推理的特征值，使推荐、风控、搜索等系统能在数据到达的瞬间做出响应。
关键驱动力： 用户行为实时化（点击、滑动、支付）、欺诈检测窗口缩短至秒级、广告竞价需在 50ms 内完成特征拼接。
| 场景 | 传统离线特征 | 实时特征需求 | 延迟要求 |
|---|---|---|---|
| 个性化推荐 | 用户历史偏好（天级） | 当前会话行为序列 | < 200ms |
| 实时风控 | 设备指纹、历史交易 | IP 变更频率、操作间隔 | < 100ms |
| 动态定价 | 竞品均价（小时级） | 实时供需比、库存水位 | < 500ms |
| 智能运维 | 指标聚合（分钟级） | 异常检测滑动窗口 | < 1s |
1.2 因子库与特征服务：概念辨析
在实时特征工程体系中，因子库与特征服务是两个紧密关联但职责不同的核心组件。
- 因子库（Feature Store / Factor Repository）：统一存储和管理特征元数据、特征定义、特征血缘以及特征值的中央仓库。它解决“特征复用难、口径不一致、重复开发”的问题。
- 特征服务（Feature Service）：面向在线推理的低延迟特征获取层。它负责将因子库中定义的特征，通过预计算、缓存、拼接等手段，以 API 形式提供给模型服务。
类比理解： 因子库是“特征超市的货架与商品目录”，特征服务是“收银台与快速取货通道”。两者结合才能让模型在毫秒级拿到正确的特征。
| 维度 | 因子库 | 特征服务 |
|---|---|---|
| 核心职责 | 特征定义、存储、发现、血缘 | 特征获取、拼接、缓存、限流 |
| 数据时效 | 批+流，支持回溯 | 毫秒级在线读取 |
| 典型组件 | Feast、Hopsworks、自研元数据中心 | Redis、自研 Feature Server、Flink SQL Gateway |
| 面向用户 | 数据工程师、算法工程师 | 模型推理服务、在线应用 |
1.3 Flink 在实时特征计算中的核心作用
Apache Flink 凭借其真正的流处理架构、精确一次语义和丰富的状态管理，成为构建实时特征计算引擎的首选。它在整个链路中扮演三个关键角色：
- 实时特征生产端：消费 Kafka/Pulsar 等消息队列，通过 Flink SQL 或 DataStream API 完成窗口聚合、维表关联、CEP 模式匹配，生成实时特征。
- 特征数据管道：将计算后的特征写入因子库的在线存储（如 Redis、HBase）和离线存储（如 HDFS、Iceberg），保证特征一致性。
- 特征服务加速层：利用 Flink 的状态后端（RocksDB）作为本地特征缓存，结合广播状态实现特征配置的热更新，降低特征服务延迟。
1.4 实时特征计算的核心挑战与 Flink 的应对
| 挑战 | 描述 | Flink 解决方案 |
|---|---|---|
| 数据乱序与延迟 | 事件时间与处理时间不一致，窗口聚合结果不准确 | Watermark + 允许迟到数据 + 侧输出流 |
| 状态爆炸 | 长窗口或海量用户特征导致状态无限增长 | RocksDB 状态后端 + 状态 TTL + 增量 Checkpoint |
| 特征一致性 | 离线训练与在线推理使用不同特征口径 | Flink SQL 统一口径 + 特征血缘追踪 + 因子库版本管理 |
| 高可用与容错 | 作业失败导致特征断流或重复计算 | Exactly-Once 语义 + 自动重启 + 保存点恢复 |
| 低延迟特征服务 | 在线推理需要在毫秒级获取最新特征 | Flink 异步 IO + 维表缓存 + 广播状态热更新 |
1.5 课程知识体系总览
本课程将围绕“实时特征生产 → 因子库管理 → 特征服务交付”这条主线展开，覆盖以下核心模块：
- 基础篇：Flink 实时计算核心概念、时间语义与窗口、状态与容错机制。
- 特征生产篇：Flink SQL 实时特征开发、维表关联、复杂事件处理（CEP）特征提取。
- 因子库篇：特征元数据建模、特征血缘追踪、特征版本管理与回滚。
- 特征服务篇：低延迟特征 API 设计、缓存策略、Flink 与 Redis/Feast 集成。
- 实战篇：实时推荐特征、实时风控特征、实时广告特征三大案例。
前置要求： 建议学习者具备 Flink 基础编程经验（DataStream 或 SQL），了解 Kafka 基本使用，对特征工程有初步认识。本课程不从头讲解 Flink 安装与基础 API。