VIP20

本课程属于：030-实时推荐数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

搭建实时推荐数据平台

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导学与项目全景

推荐系统行业现状、实时推荐的价值、项目技术栈总览（Kafka、Flink、Redis、HBase）、项目架构图解析。

开发环境准备

Linux基础、Docker与Docker Compose安装、JDK与Maven配置、IDE（IntelliJ IDEA）推荐与插件。

数据源与消息队列

用户行为日志生成器设计、Apache Kafka核心概念、Kafka集群搭建（Docker）、Topic设计与分区策略。

实时流处理引擎

Apache Flink入门、Flink运行架构、Flink开发环境搭建、第一个Flink WordCount程序。

Flink时间语义与Watermark

Event Time与Processing Time、Watermark机制、乱序数据处理、Allowed Lateness与Side Output。

时间语义Watermark

Flink状态管理与容错

Keyed State与Operator State、状态后端（Memory/Fs/RocksDB）、Checkpoint与Savepoint、Exactly-Once语义。

Flink窗口计算

滚动窗口、滑动窗口、会话窗口、窗口函数（ReduceFunction/AggregateFunction/ProcessWindowFunction）。

实时特征工程

用户画像构建、物品特征提取、实时统计特征（点击率、转化率）、特征存储到Redis。

特征工程Redis

协同过滤算法基础

基于用户的协同过滤（UserCF）、基于物品的协同过滤（ItemCF）、相似度计算（余弦/Jaccard）。

协同过滤相似度

实时协同过滤实现

Flink实现UserCF实时更新、Flink实现ItemCF实时更新、相似度矩阵的增量更新。

基于内容的推荐

TF-IDF算法原理、文本向量化、物品内容相似度计算、实时内容推荐实现。

内容推荐TF-IDF

实时热门榜单

全局热门榜、分类热门榜、时效性衰减算法（牛顿冷却定律）、Flink TopN实现。

实时召回策略

多路召回架构、基于规则的召回、基于模型的召回、召回结果合并与去重。

实时排序模型

CTR预估简介、逻辑回归（LR）模型、特征交叉、Flink ML模型在线预测。

深度学习排序入门

Wide & Deep模型原理、Embedding技术、TensorFlow模型导出与Flink集成。

深度学习Wide&Deep

实时特征存储

Redis数据结构选择（Hash/Set/Sorted Set）、Redis集群搭建、Flink与Redis连接器、特征过期策略。

Redis特征存储

实时结果存储

HBase表设计（RowKey设计）、HBase集群搭建、Flink与HBase连接器、结果数据TTL设置。

HBase结果存储

实时推荐服务API

Spring Boot搭建推荐服务、RESTful API设计、Redis缓存推荐结果、API性能优化。

实验分层设计、流量切分策略、实验指标埋点、实验结果分析。

实时数据监控

Flink Metrics监控、Kafka Lag监控、Redis与HBase监控、Grafana仪表盘搭建。

数据质量保障

数据完整性校验、异常数据过滤、数据回溯机制、数据质量监控告警。

数据质量校验

Flink并行度调优、Kafka分区与消费者优化、Redis Pipeline优化、HBase批量写入优化。

容器化部署

Docker镜像制作、Docker Compose编排、Kubernetes基础、Flink on K8s部署。

GitLab CI配置、自动化测试、自动化构建与部署、版本管理。

项目实战一：新闻推荐系统

需求分析、数据流设计、召回与排序实现、效果评估。

项目实战二：电商商品推荐

用户行为模拟、实时个性化推荐、购物车推荐、关联推荐。

项目实战三：短视频推荐

兴趣探索与利用、实时兴趣迁移、热门与个性化结合。

实战短视频

项目总结与面试指南

项目亮点提炼、常见面试题解析、系统设计题思路、简历撰写建议。

前沿技术展望

实时湖仓一体、流式特征平台、大模型在推荐中的应用、未来趋势。

前沿大模型

课程回顾与结业

核心知识点回顾、学习路径建议、社区与资源推荐、结业寄语。