VIP20

本课程属于：050-多云数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Delta Lake 实时特征工程实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Delta Lake 前世今生

从数据湖到湖仓一体，Delta Lake 的诞生背景与核心优势，理解为何它成为实时特征工程的基石。

湖仓一体ACID

Spark + Delta Lake 本地开发环境配置，PySpark 与 Delta Lake 集成，快速启动你的第一个 Delta 作业。

Delta Lake 基础操作

表的创建、读写、更新、删除，ACID 事务初体验，掌握核心 DML 与事务日志概念。

Schema 演化与强制

自动适配 Schema，处理字段新增、类型变更的实战技巧，保障特征表结构灵活且可靠。

时间旅行与版本管理

数据版本回溯，用时间旅行做数据恢复与审计，精准定位任意历史状态。

时间旅行审计

实时流写入

Structured Streaming 写入 Delta 表，实现微批与连续处理，构建低延迟特征摄入管道。

Structured Streaming微批

Change Data Capture (CDC)

捕获 Delta 表的变更数据，用于下游同步，实现实时增量分发与特征更新。

Delta Lake 与 Kafka 集成

实时消费 Kafka 消息，写入 Delta 表做特征存储，打通消息队列与湖存储。

特征工程概述

离线特征与实时特征的区别，特征存储的概念，为后续实战建立全局认知。

特征存储离线vs实时

实时特征计算框架

基于 Spark Streaming 的滑动窗口特征计算，掌握时间窗口聚合与状态管理。

滑动窗口Spark Streaming

特征表设计

主键、时间戳、特征列的设计原则，避免数据倾斜，构建高性能特征表。

表设计数据倾斜

特征回填 (Backfill)

用历史数据批量计算特征，填补缺失窗口，确保特征时间序列完整。

回填历史计算

特征服务 API

使用 Delta Sharing 或 REST API 对外提供特征查询，实现特征低延迟 Serving。

Delta SharingREST API

特征监控与数据质量

用 Delta Lake 的约束和检查保证特征质量，设置监控规则，及时发现问题。

数据质量约束

增量特征计算

只处理新增数据，避免全量重算，提升效率，降低计算成本。

增量计算效率

多流合并与去重

多个实时流写入同一特征表，处理重复数据，保证特征一致性与准确性。

特征新鲜度管理

设置 TTL，自动清理过期特征，控制存储成本，保持特征时效性。

TTL存储成本

Delta Lake 优化

Z-Order 索引、文件合并 (Optimize)、VACUUM 清理，提升查询与写入性能。

Z-OrderOptimize

Shuffle 分区、内存配置、并行度调整，提升特征计算性能，充分利用集群资源。

Spark 调优并行度

特征工程 Pipeline

用 Delta Live Tables 构建端到端特征流水线，声明式管理数据依赖与更新。

Delta Live TablesPipeline

实时特征与模型推理

将特征直接喂给 ML 模型，实现实时预测，打通特征工程到推理的最后一公里。

模型推理实时预测

特征存储与 Feature Store

对比 Feast、Tecton，理解 Delta 作为 Feature Store 的优劣，选择合适架构。

Feature StoreFeast

多模态特征处理

处理数值、类别、文本、时序特征的实时计算，覆盖常见特征类型。

多模态时序

特征权限与治理

使用 Delta 的细粒度权限控制，管理特征访问，满足企业级治理要求。

灾难恢复与备份

跨区域复制 Delta 表，保障特征数据不丢失，设计高可用容灾方案。

容灾跨区域

大规模特征工程

处理 TB 级数据，分布式特征计算的挑战与对策，水平扩展实践。

大规模分布式

实时特征延迟优化

从秒级到毫秒级，减少端到端延迟的技巧，满足高实时性场景。

低延迟优化

特征工程自动化

用 Airflow 调度特征计算任务，实现自动化运维，构建可靠特征生产线。

实战案例：实时推荐系统

从数据采集到特征上线全流程，构建实时推荐特征工程，提升推荐效果。

推荐系统端到端

实战案例：实时风控系统

处理高吞吐、低延迟的挑战，构建实时风控特征，保障业务安全。

风控高吞吐