VIP20

本课程属于：046-机器学习数据流水线 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink 实现实时特征计算

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Flink基础与环境搭建

Flink发展史、核心特性、应用场景，集群部署（Standalone/YARN/K8s），命令行与Web UI入门。

Flink编程模型

DataStream API概览，Source/Sink/Transformation三要素，执行环境与延迟执行。

DataStream骨架

时间语义与Watermark

EventTime/ProcessingTime/IngestionTime区别，Watermark原理与生成，Allowed Lateness与Side Output。

时间迟到数据

状态管理与容错

Keyed State与Operator State，状态后端(RocksDB/FS/HashMap)，Checkpoint/Savepoint，Exactly-Once。

Flink Window操作

Tumbling/Sliding/Session Window，Window Function，Trigger与Evictor自定义，增量与全量计算。

窗口触发器

Connector实战

Kafka Source/Sink配置与序列化，JDBC/ES Sink，File Sink与Bucketing，自定义Source/Sink。

TableEnvironment与Catalog，动态表与连续查询，SQL DDL/DML，UDF开发。

CEP复杂事件处理

Pattern API基础，个体模式与组合模式，事件选择与跳过策略，风控场景应用。

实时特征工程概述

特征工程重要性，实时与离线特征区别，架构设计，存储选型(Redis/HBase/Feature Store)。

实时特征核心模式

Tumbling/Sliding/Session Window特征，Over Window累计特征，均值/计数/最大最小。

窗口特征聚合

SQL实现实时特征

SQL窗口聚合，MATCH_RECOGNIZE序列特征，维表JOIN，Top-N与Deduplicate特征。

Keyed State复杂特征

ValueState/ListState/MapState，状态TTL，多维度组合，状态大小监控与优化。

外部存储交互

Redis异步IO，HBase维表关联，Feature Store(Feast)集成，特征回写与更新。

时间处理与特征

时间窗口对齐，节假日/特殊时段特征，时间差计算，事件时间与处理时间混合。

特征聚合与统计

Count/Sum/Avg/Stddev，Distinct Count(HLL)，分位数(TDigest)，协方差与相关系数。

序列特征与行为序列

用户行为序列构建，Session内排序，时间间隔特征，频次与转化率特征。

特征交叉与组合

特征交叉策略，Cross Join实现，Embedding实时生成，特征哈希与分桶。

交叉Embedding

实时特征质量监控

特征延迟监控，分布漂移检测，缺失率统计，计算SLA告警。

Flink与ML框架集成

Flink ML Pipeline，TensorFlow/PyTorch在线推理，PMML加载，模型版本管理。

KeyBy数据倾斜，算子链与Task Slot，反压检测，内存管理与GC调优。

大规模特征计算架构

多级特征计算(Pre-compute+实时)，特征分层设计，复用与缓存，血缘追踪。

推荐系统特征

用户实时兴趣，物品实时热度，上下文特征，实时召回与排序特征。

风控系统特征

设备指纹特征，交易行为序列，实时规则引擎，团伙欺诈特征。

广告系统特征

实时点击率特征，广告竞价特征，频次控制，实时ROI特征。

CDC与实时特征

MySQL CDC实时同步，Debezium集成，Changelog Stream处理，数据一致性保证。

实时特征数据湖

Flink+Iceberg/Hudi写入，特征数据湖查询，Time Travel回溯，数据治理。

数据湖Iceberg

测试与调试

单元测试(TestHarness)，集成测试(Minicluster)，特征逻辑验证，数据回放与比对。

生产化部署

作业参数调优，监控大盘(Grafana+Prometheus)，日志与链路追踪，灰度发布与回滚。

特征命名规范，代码结构设计，配置中心管理，文档与元数据管理。

规范元数据

综合实战：实时用户画像

需求分析、架构设计、特征开发、性能压测、上线与运维，全流程画像系统。