1. 课程导论：实时特征管道定义、Kafka在实时架构中的核心地位、课程目标与前置知识
1.1 什么是实时特征管道
实时特征管道（Real-Time Feature Pipeline）是一套从数据产生到特征就绪的端到端流式处理链路，其核心目标是在毫秒至秒级延迟内完成数据采集、清洗、变换、聚合与特征存储，为下游在线推理或近线训练提供一致、可复用的特征数据。
与离线特征管道相比，实时特征管道面临三大核心挑战：
| 维度 | 离线特征管道 | 实时特征管道 |
|---|---|---|
| 延迟要求 | 小时级 ~ 天级 | 毫秒级 ~ 秒级 |
| 数据源 | HDFS / 数仓表 | Kafka / Pulsar / 日志流 |
| 计算模式 | 批处理（Spark Batch / Hive） | 流处理（Flink / Kafka Streams） |
| 特征存储 | 离线特征表（Hive / HBase） | 在线特征库（Redis / Cassandra） |
| 一致性模型 | 最终一致 / 快照一致 | 事件时间 + 精确一次语义 |
关键认知：实时特征管道不是离线管道的“加速版”，而是面向在线推理场景重新设计的架构——它必须同时满足低延迟、高吞吐、可回放、特征一致性四个约束。
1.2 Kafka在实时架构中的核心地位
在实时特征管道中，Kafka扮演着统一数据总线与流式存储层的双重角色。它不仅是数据源与流处理引擎之间的缓冲桥梁，更是整个管道实现解耦、削峰、回放与多路分发的基础设施。
Kafka的核心能力与实时特征管道的对应关系如下：
- 高吞吐持久化：支撑每秒百万级事件写入，为特征管道提供可靠的数据源层。
- 分区并行与有序性：按特征主键（如user_id）分区，保证同一实体的特征计算顺序一致。
- 日志回放（Log Replay）：支持从任意offset回溯数据，用于特征回溯验证或模型重训。
- 多消费者组：同一份实时数据可同时供给在线特征计算、离线特征回补、监控告警等多个下游。
- Exactly-Once语义：结合事务API与幂等生产者，保障特征数据不重不丢。
架构要点：Kafka位于数据源与计算引擎之间，所有实时特征数据必须经过Kafka topic进行标准化、持久化与分发。这种架构使得特征管道具备“写一次、读多次”的复用能力，避免为每个下游重复采集数据。
1.3 课程目标
完成本课程后，学员将能够：
- 独立设计基于Kafka的实时特征管道架构，包括topic规划、分区策略与数据模型。
- 熟练使用Kafka Producer/Consumer API、Kafka Streams DSL与Flink Kafka Connector构建特征生产与消费链路。
- 掌握事件时间处理、水位线、状态后端与精确一次语义在特征场景中的落地方法。
- 实现特征回溯、特征校验、特征监控与异常恢复等生产级能力。
- 完成一个端到端实时特征管道项目：从数据采集→流式计算→特征存储→在线推理调用。
1.4 前置知识要求
为获得最佳学习效果，建议学员具备以下基础：
| 领域 | 具体要求 | 推荐学习资源 |
|---|---|---|
| Java / Scala | 熟悉基本语法、Lambda表达式、集合操作 | 《Java核心技术》第1~6章 |
| Kafka基础 | 理解Topic、Partition、Consumer Group概念；能使用命令行生产消费 | Kafka官方Quickstart |
| 流处理概念 | 了解DataStream、事件时间、窗口的基本含义 | Flink官方文档“Concepts”章节 |
| Linux基础 | 能使用命令行操作文件、进程、网络 | 《鸟哥的Linux私房菜》基础篇 |
重要提示：本课程不教授Kafka安装部署与基础API使用，这些内容属于前置知识。课程将直接从特征管道的架构设计切入，默认学员已具备Kafka生产消费的基本能力。
1.5 课程内容概览
全课程共30章，按知识递进关系分为四个模块：
- 模块一（第1~5章）：基础与架构 — 实时特征管道定义、Kafka核心机制、Topic与分区设计、数据模型与序列化。
- 模块二（第6~15章）：流式计算与特征工程 — Kafka Streams与Flink双引擎实战、时间窗口聚合、多流Join、特征回溯与状态管理。
- 模块三（第16~25章）：生产化与运维 — 特征存储选型、Exactly-Once语义、监控告警、数据质量校验、容错与恢复。
- 模块四（第26~30章）：项目实战与进阶 — 端到端实时推荐特征管道、特征平台化设计、性能调优与未来趋势。