VIP20

本课程属于：025-实时特征平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从零搭建实时特征平台

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导学与架构总览

实时特征平台的价值、技术选型（Flink/Kafka/Redis）、整体架构图。

Docker、JDK、Maven、IDE 的安装与配置，快速搭建开发环境。

Kafka 核心概念

Topic、Partition、Consumer Group，本地单机部署与基础操作。

消息队列Kafka

Flink 基础概念

DataStream、算子、时间语义、状态与容错机制详解。

Flink 开发环境搭建

Maven 项目骨架、本地运行 WordCount，快速上手 Flink 开发。

数据结构、过期策略、Java 客户端 Jedis/Lettuce 使用。

实时特征平台数据模型设计

特征定义、特征组、特征存储 Schema 设计方法。

数据源接入

Kafka Producer 模拟发送实时行为日志，接入数据流。

Flink 消费 Kafka

FlinkKafkaConsumer 配置与反序列化，实现精准读取。

数据清洗与预处理

过滤脏数据、字段补齐、水位线设置，提升数据质量。

清洗预处理

特征计算 - 滑动窗口聚合

过去 5 分钟用户点击次数统计，滑动窗口实战。

特征计算 - 会话窗口

用户一次 Session 内的行为统计，会话窗口应用。

特征计算 - CEP 复杂事件处理

识别用户「加购-支付」漏斗，CEP 模式匹配实战。

特征计算 - 实时 Join

流-流 Join（用户画像与行为流），实时关联计算。

特征计算 - 维表关联

实时查询 Redis/MySQL 维表，丰富特征维度。

特征存储设计

Redis Hash 结构存储特征，TTL 策略与过期管理。

Flink 写入 Redis

自定义 Sink 或使用 Flink Redis Connector，结果持久化。

特征平台 API 层设计

Spring Boot 搭建 RESTful 特征查询服务，对外暴露接口。

特征更新机制

实时特征与离线特征的一致性保证，更新策略详解。

一致性更新

从 Kafka 历史数据回放计算特征，支持回溯补数据。

监控与告警

Flink Metrics、Kafka Lag 监控、Redis 内存监控体系。

性能优化 - Flink 调优

并行度、Checkpoint、State Backend 选择与调优实践。

性能优化 - Kafka 调优

分区数、批量大小、Ack 机制，提升吞吐与可靠性。

性能优化 - Redis 调优

Pipeline、连接池、内存淘汰策略，降低延迟。

单元测试与集成测试

Flink 单元测试、Kafka 集成测试，保障代码质量。

CI/CD 流水线

GitLab CI 自动化构建、部署 Flink 作业，持续交付。

多环境管理

Dev/Staging/Prod 环境配置与隔离，环境治理策略。

数据质量保障

特征值校验、延迟监控、异常检测，确保数据可靠。

生产环境踩坑实录

数据倾斜、反压、OOM 案例复盘，经验教训总结。

课程总结与扩展

实时特征平台在推荐/风控场景的落地，未来演进方向。