VIP20

本课程属于：015-实时数据产品设计 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

用户行为流实时建模系统设计与落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

行为流概述

什么是用户行为流、实时建模的价值、典型应用场景（推荐、风控、运营）。

数据采集层

前端埋点（代码埋点、全埋点）、服务端日志采集、消息队列（Kafka）基础。

实时计算引擎

Flink核心概念（DataStream、时间语义、窗口）、Spark Streaming对比。

行为事件建模

事件模型设计（Event Schema）、用户画像标签、实体-行为-属性模型。

状态管理与容错

Flink状态后端（RocksDB、HashMap）、Checkpoint与Savepoint机制。

时间语义与水位线

Event Time、Processing Time、Watermark生成策略与乱序处理。

时间Watermark

滚动窗口、滑动窗口、会话窗口、自定义窗口触发器。

窗口触发器

CEP复杂事件处理

Flink CEP库、模式定义（Pattern API）、事件序列匹配。

实时特征工程

滑动窗口特征、Session特征、行为序列特征（LSTM输入构造）。

用户旅程构建

基于事件流的用户路径还原、漏斗分析、归因模型。

实时数仓分层

ODS、DWD、DWS、ADS在实时场景下的实践。

实时流与MySQL/HBase/Redis维表关联、异步IO、广播状态。

数据湖集成

实时写入Iceberg/Hudi、流批一体架构、CDC入湖。

监控与告警

Flink作业监控（Metrics、Prometheus）、延迟告警、背压检测。

算子链优化、并行度调整、数据倾斜处理、序列化优化。

生产环境部署

Flink on YARN/K8s、资源隔离、高可用配置。

实时分流、实验指标计算、MAB（多臂老虎机）算法集成。

实时推荐系统

用户实时兴趣向量、协同过滤在线化、特征实时更新。

推荐协同过滤

规则引擎（Drools/Flink CEP）、设备指纹、异地登录检测。

实时大屏、用户分群、触达策略（Push/短信）实时触发。

数据质量保障

实时数据校验、去重（精确一次语义）、异常检测。

元数据管理

实时数据血缘、Schema Registry、字段级血缘追踪。

元数据血缘

测试与演练

单元测试（Flink Test Harness）、压测、故障演练。

版本管理与发布

作业版本控制、灰度发布、回滚策略。

资源弹性伸缩、Spot实例利用、冷热数据分离。

多语言支持

PyFlink应用、Java/Scala混合开发、UDF管理。

实时数据脱敏、访问控制、审计日志。

行业案例1：电商大促

电商大促实时大屏与秒杀风控。

行业案例2：短视频

短视频推荐实时特征与用户留存分析。

短视频留存

流式数仓（Streamhouse）、AI for Real-time、Serverless Flink。

趋势Serverless

专注课程资料整理