VIP20

本课程属于：030-实时推荐数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时推荐平台从开发到上线

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时推荐系统概述

什么是实时推荐、业务场景分析、技术栈选型（Flink+Kafka+Redis+ClickHouse）、系统架构总览。

开发环境搭建

JDK、Maven、Git、Docker、IDE配置、本地集群模拟，快速启动开发环境。

数据源与数据采集

用户行为日志设计、埋点规范、Kafka生产者与消费者实战，构建可靠数据管道。

Flink基础入门

Flink核心概念、DataStream API、环境搭建、第一个Flink实时任务，从零上手。

Flink时间语义与Watermark

EventTime、ProcessingTime、Watermark机制、乱序数据处理，精准时间管理。

时间语义Watermark

Flink状态管理与容错

KeyedState、OperatorState、Checkpoint与Savepoint、Exactly-Once语义，保障数据一致性。

实时特征工程

用户画像构建、物品特征提取、实时统计特征（PV/UV/CTR）、滑动窗口计算。

特征工程实时

协同过滤算法实时化

基于用户/物品的协同过滤、实时相似度计算、矩阵分解，实现实时协同过滤。

协同过滤实时

基于内容的推荐

TF-IDF文本特征、Word2Vec物品向量化、实时内容召回，挖掘物品语义。

内容推荐向量

深度学习推荐模型

Wide & Deep、DeepFM、DIN模型原理、Flink ML Pipeline集成，深度模型实战。

深度学习模型

实时召回策略

热门召回、协同过滤召回、向量召回（Faiss）、多路召回融合，提升召回多样性。

实时排序模型

LR、GBDT+LR、DeepFM排序、模型在线推理、特征实时拼接，精准排序。

排序在线推理

AB测试与分流

实验平台设计、流量切分、Hash分桶、实时指标对比，科学评估效果。

Redis实时存储

Redis数据结构选型、缓存策略、热key处理、Redis Cluster部署，高性能缓存。

ClickHouse实时OLAP

ClickHouse表引擎、实时写入、物化视图、OLAP查询优化，秒级分析。

实时特征存储

Feast Feature Store、在线特征与离线特征统一、特征更新机制，特征治理。

特征存储Feast

模型在线服务

TensorFlow Serving、ONNX Runtime、Flink模型推理UDF、低延迟优化，高效服务。

模型服务推理

实时推荐API开发

Spring Boot构建RESTful API、gRPC服务、接口限流与降级，稳定对外接口。

前端推荐展示

React/Vue推荐卡片组件、实时刷新、用户反馈收集，打造交互体验。

实时监控与告警

Prometheus + Grafana监控Flink作业、Kafka Lag监控、业务指标看板，全面可观测。

数据质量保障

数据完整性校验、异常检测、数据回填机制、SLA保障，高质量数据。

数据质量SLA

Flink算子链优化、反压处理、序列化优化、内存调优，极致性能。

全链路压测

压测工具选型（JMeter/Locust）、模拟真实流量、瓶颈分析，保障容量。

灰度发布与回滚

蓝绿部署、金丝雀发布、配置中心（Apollo/Nacos）、版本管理，安全发布。

安全与权限

数据脱敏、API鉴权（JWT/OAuth2）、访问控制、审计日志，全面安全。

Jenkins/GitLab CI、自动化测试、Docker镜像构建、Kubernetes部署，持续交付。

Kubernetes容器化

Flink on K8s、Helm Chart、自动扩缩容、资源隔离，云原生部署。

多机房容灾

异地多活架构、数据同步、故障切换、一致性保证，高可用架构。

资源利用率分析、Spot实例使用、冷热数据分离、Flink自动调优，降本增效。

项目总结与复盘

架构演进回顾、踩坑记录、性能收益、未来规划，沉淀经验。