VIP20

本课程属于：025-实时特征平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时特征平台流批一体特征计算架构

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

Lambda架构的痛点、Kappa架构的局限、流批一体的核心思想与价值。

技术选型对比

Flink vs Spark Streaming、Kafka vs Pulsar、Hudi vs Iceberg vs Delta Lake。

Flink核心概念

DataStream API、Table API、State、Checkpoint、Savepoint。

Flink时间语义

Event Time、Processing Time、Ingestion Time、Watermark机制。

时间Watermark

Flink窗口计算

Tumbling Window、Sliding Window、Session Window、Global Window。

Flink状态管理

Keyed State、Operator State、State Backend（RocksDB、Heap）、状态TTL。

Flink容错机制

Checkpoint原理、Exactly-Once语义、端到端一致性。

容错一致性

动态表、连续查询、CDC（Change Data Capture）接入。

Kafka核心概念

Topic、Partition、Consumer Group、ISR、幂等生产者。

Source Connector、Sink Connector、Debezium CDC实践。

ConnectDebezium

Pulsar核心概念

Topic、Subscription、BookKeeper、分层存储。

Pulsar Functions

轻量级流处理、与Flink的集成。

Functions集成

Hudi核心概念

Copy-on-Write、Merge-on-Read、Incremental Query、Time Travel。

Iceberg核心概念

Snapshot Isolation、Schema Evolution、Partition Evolution、Hidden Partitioning。

Iceberg表格式

Delta Lake核心概念

ACID事务、Schema Enforcement、Time Travel、Vacuum。

流批一体存储选型

Hudi vs Iceberg vs Delta Lake 深度对比与选型建议。

Flink + Kafka 实时特征管道

从Kafka消费、特征计算、写入特征存储。

Flink + Hudi 批特征管道

批量回溯、历史数据修正、全量特征计算。

特征存储设计

在线特征服务（Redis/内存）、离线特征存储（HDFS/对象存储）。

特征一致性校验

实时特征与离线特征的对账、延迟监控、数据漂移检测。

特征回溯与回填

历史特征计算、时间旅行查询、特征版本管理。

特征血缘与元数据

特征定义、特征来源、特征依赖、特征生命周期管理。

血缘元数据

特征工程平台

特征注册、特征发布、特征下线、特征复用。

Flink SQL 特征计算实战

使用Flink SQL定义特征、动态表与维表Join。

Flink CEP 复杂事件处理

模式匹配、序列检测、超时处理。

Flink ML 与特征计算

Flink ML Pipeline、特征变换、模型推理。

流批一体监控与运维

Flink Metrics、Kafka Lag监控、Hudi Compaction、Iceberg Expire Snapshots。

Flink并行度、Kafka分区数、Hudi写入调优、Iceberg查询优化。

生产环境案例

推荐系统特征管道、风控系统特征管道、广告系统特征管道。

流批一体与AI结合、Serverless流计算、云原生特征存储。

趋势云原生