1. 流水线概述：什么是离线特征生产、为什么需要流水线、核心概念

大家好，我是老张。做机器学习工程这些年，我踩过最多的坑，就是特征生产这块。今天咱们聊聊离线特征批量生产流水线——说白了，就是怎么把原始数据变成模型能吃的“食材”，而且还得是批量、稳定、可复用地生产。

1.1 什么是离线特征生产

先问个问题：模型训练需要什么？需要特征和标签。特征从哪里来？从原始数据里来。但原始数据不能直接喂给模型——你想想看，用户ID、时间戳、文本描述，这些乱七八糟的东西，模型根本看不懂。

离线特征生产，就是把原始数据（比如数据库里的用户行为日志、业务表里的订单记录）经过一系列加工，变成模型能用的数值型或向量型特征。这个过程是“离线”的，意思是它不是实时计算的，而是按天、按小时批量跑。

我记得刚入行那会儿，有个同事把离线特征和实时特征混在一起用，结果线上推理时特征对不上，模型直接崩了。嗯，从那以后我就特别强调：离线特征生产，一定要跟线上特征服务对齐。

1.2 为什么需要流水线

你可能会问：我写个脚本，每天手动跑一下不就行了？

行，但只能跑一次。一旦特征数量上来了——比如几十个、上百个特征——手动跑就会出问题。我经历过：某天忘了跑特征，模型训练用的还是昨天的数据，上线后效果暴跌，用户投诉一堆。

流水线解决的就是这几个问题：

• 自动化：定时触发，不用人盯着
• 可复现：每次跑的结果一致，不会因为手抖改错参数
• 可追溯：哪个特征哪天跑的、用的什么版本代码，都能查
• 容错：某个环节挂了，能自动重试或报警

1.3 核心概念：特征、样本、标签

这三个概念，是离线特征生产的基石。我见过不少新人把它们搞混，所以咱们一个一个说清楚。

概念	定义	举例
特征	描述样本某个维度的数值或向量	用户近7天登录次数、商品价格、文本TF-IDF向量
样本	一条完整的记录，包含所有特征	用户A在2024-01-01的特征向量
标签	样本对应的目标值，用于监督学习	用户A当天是否下单（0/1）

特征

特征是模型的输入。它可以是：

• 数值型：年龄、金额、次数
• 类别型：性别、城市、设备类型（需要编码）
• 文本型：用户评论、商品描述（需要向量化）
• 时序型：过去N天的行为序列

我个人习惯把特征分成三类：

1. 基础特征：直接从原始表里取，比如用户注册时间
2. 统计特征：聚合计算得到，比如近7天平均消费金额
3. 复杂特征：需要模型或算法生成，比如Embedding、交叉特征

样本

样本就是一条特征向量。在离线生产中，样本通常以行形式存储在宽表或TFRecord中。每个样本对应一个实体（用户、商品、订单）在某个时间点的特征快照。

举个例子：

# 一条样本的简化表示
{
  "user_id": "U12345",
  "date": "2024-01-15",
  "feature_age": 28,
  "feature_login_7d": 15,
  "feature_avg_order_30d": 89.5,
  "label": 1  # 是否下单
}

注意，样本里不能有未来信息。我见过有人把“是否点击”作为特征来预测“是否下单”——这在离线数据里是能看到的，但线上推理时根本拿不到。这叫特征泄露，是离线特征生产的大忌。

标签

标签是监督学习的“标准答案”。它通常来自业务逻辑：

• 点击率模型：用户是否点击（0/1）
• 转化率模型：用户是否下单（0/1）
• 回归模型：用户消费金额（连续值）

标签的生成时间点很关键。比如预测“用户未来7天是否会下单”，标签就需要在特征时间点之后7天才能确定。所以离线特征生产时，标签往往是延迟生成的。

1.4 离线特征生产的整体流程

下面这张图，是我做离线特征生产流水线的标准架构。你看一眼，大概就能明白整个链路长什么样。

这个流程看起来简单，但实际落地时，每一步都有坑。比如数据清洗，我遇到过原始数据里用户ID有重复、时间戳格式不统一、数值字段出现负数——这些都得处理。再比如特征计算，不同特征的窗口期不一样，有的用7天，有的用30天，计算逻辑得分开写。

1.5 流水线的核心价值

说了这么多，总结一下离线特征生产流水线的价值：

• 效率：一次配置，自动运行，不用每天手动操作
• 一致性：训练和推理用的特征逻辑完全一致，避免线上线下不一致
• 可扩展：新增特征只需加一个节点，不用改整个流程
• 可回溯：哪天模型效果差了，能回查那天的特征数据