VIP20

本课程属于：010-特征工程平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

离线特征批量生产与调度流水线建设

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流水线概述

什么是离线特征生产、为什么需要流水线、核心概念（特征、样本、标签）。

数据源接入

HDFS、Hive、Kafka 数据源的特点与接入方式，构建稳定数据管道。

数据源接入

缺失值处理、异常值检测、数据去重，提升数据质量。

特征工程基础

特征分类（数值型、类别型、文本型）与特征理解方法论。

数值特征处理

标准化、归一化、离散化、对数变换，让数值特征更稳定。

类别特征处理

One-Hot 编码、Label Encoding、Target Encoding 实战对比。

文本特征处理

TF-IDF、Word2Vec、BERT Embedding 提取文本语义。

时间特征处理

时间戳解析、滑动窗口统计、周期性特征构造。

手动组合、FM、GBDT+LR 高阶交叉特征方法。

过滤法、包裹法、嵌入法，筛选有效特征。

Parquet、Avro、TFRecord 格式对比与选型建议。

特征仓库设计

离线特征表结构设计、分区策略与元数据管理。

批处理框架选型

Spark、Flink、MapReduce 对比与适用场景。

Spark Core基础

RDD、DataFrame、SparkSession 核心编程模型。

Spark SQL实战

读取 Hive 表、SQL 变换、写出到 HDFS 完整链路。

Spark MLlib特征处理

VectorAssembler、StandardScaler 等工具高效构建特征。

流水线DAG设计

任务依赖、拓扑排序、调度策略，构建可靠 DAG。

工作流调度系统

Airflow、Azkaban、DolphinScheduler 对比与选型。

DAG 定义、Task 依赖、定时调度与监控。

数据质量监控

完整性、准确性、一致性校验与异常告警。

历史数据补全、重跑机制与数据一致性保障。

特征版本、数据版本、模型版本协同管理。

增量特征计算、增量合并策略，降低计算成本。

数据倾斜、Shuffle 调优、资源参数调优实战。

监控与告警

任务失败告警、数据延迟告警、特征漂移检测。

测试与验证

单元测试、集成测试、A/B 测试保障流水线正确性。

自动化构建、自动化部署、自动化测试流水线。

生产环境部署

容器化、Kubernetes、弹性伸缩与运维实践。

案例实战：推荐系统

推荐场景特征流水线全流程设计与实现。

案例实战：风控系统

风控场景特征流水线全流程设计与实现。