VIP20

本课程属于：030-实时推荐数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时召回特征计算与存储

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时特征计算概述

实时推荐系统架构 · 特征计算在推荐链路中的位置 · 实时 vs 离线特征对比

特征存储选型

Redis、HBase、Cassandra、MongoDB 对比，选型依据与场景分析

Redis 数据结构与特征存储

String、Hash、Sorted Set、List 在特征存储中的应用

Redis数据结构

Redis 高级特性

Pipeline、Lua 脚本、过期策略、持久化对特征存储的影响

Pipeline持久化

特征计算框架

Flink 与 Spark Streaming 在实时特征计算中的角色与对比

Flink 基础概念

DataStream、Source、Sink、KeyBy、Window 在特征计算中的应用

DataStreamWindow

Flink 时间语义与 Watermark

Event Time、Processing Time、Watermark 机制与特征时效性

时间语义Watermark

Flink 状态后端

HashMapStateBackend、RocksDBStateBackend 选择与特征状态管理

状态后端RocksDB

实时特征计算模式

滑动窗口计数、滑动窗口均值、时间衰减统计

滑动窗口衰减

特征计算中的 Join 操作

Flink 双流 Join、维表 Join（Async IO）、Temporal Join

双流Join维表

特征存储的序列化与压缩

Protobuf、Avro、Kryo 序列化方案对比与选择

序列化压缩

特征存储的读写性能优化

连接池、批量读写、异步客户端、缓存策略

特征一致性保障

幂等写入、版本控制、TTL 与数据过期、补偿机制

特征计算中的容错与恢复

Flink Checkpoint、Savepoint、Exactly-Once 语义

容错Exactly-Once

特征存储的高可用架构

Redis Sentinel、Redis Cluster、HBase Region 分布

高可用Sentinel

特征计算中的监控与告警

Flink Metrics、Redis 监控指标、特征延迟监控

特征计算中的资源管理

Flink 资源分配、并行度设置、背压处理

特征存储的容量规划

内存估算、磁盘估算、QPS 预估与扩容策略

特征计算中的多级存储

热数据（内存）、温数据（SSD）、冷数据（HDFS）分层

特征计算中的特征回溯

离线回填、实时修正、特征版本管理

特征计算中的特征组合

交叉特征、特征拼接、特征哈希

特征计算中的特征归一化

Z-score、Min-Max、分桶在实时场景下的实现

归一化分桶

特征计算中的特征过滤

异常值检测、缺失值处理、特征有效性校验

特征计算中的特征分发

特征广播、特征订阅、特征推送机制

特征计算中的特征更新策略

全量替换、增量更新、合并更新

特征计算中的特征生命周期管理

特征创建、上线、下线、废弃流程

生命周期管理

特征计算中的 A/B 测试

特征分流、实验组/对照组特征隔离

特征计算中的安全与权限

特征访问控制、数据脱敏、审计日志

特征计算中的成本优化

计算资源优化、存储资源优化、链路优化

实时特征计算实战案例

从需求分析、架构设计、编码实现到上线运维的全流程

实战全流程