VIP20

本课程属于：024-流批一体架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流批一体中的实时特征计算系统设计与落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时特征计算概述

流批一体概念、实时特征计算的应用场景、技术选型对比（Flink vs Spark Streaming）。

Flink基础与环境搭建

Flink架构、Flink集群部署（Standalone/YARN）、Flink开发环境配置。

Flink DataStream API入门

Source、Transformation、Sink，以及一个简单的WordCount实战。

Flink时间语义与Watermark

EventTime、ProcessingTime、IngestionTime，Watermark原理与配置。

时间水位线

Flink窗口计算

Tumbling Window、Sliding Window、Session Window，窗口函数与优化。

Flink状态管理与容错

Keyed State、Operator State、Checkpoint与Savepoint机制。

Flink Table & SQL

Table API基础、动态表、流式SQL查询实战。

实时特征工程

特征标准化、特征离散化、特征交叉、特征哈希。

特征工程预处理

实时特征存储选型

Redis、HBase、MySQL、TiDB在实时特征场景下的对比。

Flink与Redis集成

Flink Redis Connector、实时特征写入与读取Redis。

Flink与Kafka集成

Kafka作为Source与Sink、Exactly-Once语义保证。

Flink CDC实时同步

基于Flink CDC捕获MySQL变更，构建实时特征。

实时特征计算中的维表关联

Async IO、Broadcast State、Temporal Join。

Flink CEP复杂事件处理

Pattern API、匹配规则定义、实时风控特征场景。

实时特征计算中的聚合策略

滑动聚合、累积聚合、预聚合与微批处理。

Flink SQL中的UDF与UDAF

自定义函数开发，用于复杂特征计算。

实时特征计算中的延迟与乱序处理

Allowed Lateness、Side Output、Retract模式。

Flink作业调优

并行度设置、内存配置、反压监控与处理。

实时特征计算中的模型推理

Flink集成TensorFlow/PMML，在线预测特征。

实时特征计算中的数据质量监控

数据漂移检测、空值率监控、异常值告警。

Flink与Hologres/ClickHouse集成

实时特征写入OLAP引擎，支持秒级查询。

实时特征计算中的多流Join

Interval Join、Regular Join、Window Join。

Flink状态后端选择与优化

RocksDB、HashMapStateBackend，大状态场景实践。

状态后端优化

实时特征计算中的版本管理

特征版本控制、回滚策略、A/B测试支持。

Flink作业部署与运维

JobGraph优化、Savepoint恢复、资源动态调整。

实时特征计算中的特征重要性评估

在线特征筛选、特征贡献度计算。

重要性评估

Flink ML Pipeline

Flink ML库介绍、实时特征处理Pipeline构建。

实时特征计算中的冷启动问题

历史数据回放、离线预计算与实时补全。

冷启动回放

大规模实时特征平台架构设计

特征注册中心、特征服务网关、特征血缘追踪。

综合实战：实时推荐特征计算系统

从数据接入到特征服务，构建完整的实时推荐特征计算系统。