VIP20
本课程属于：010-特征工程平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时特征计算架构与流式处理平台

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
实时特征计算概述
什么是实时特征，实时与离线计算对比，风控、推荐、监控等典型应用场景。
概念对比场景
02
核心架构总览
整体架构图、数据流转路径，采集、计算、存储、服务四大核心组件。
架构组件数据流
03
数据采集层
Kafka vs Pulsar 选型，Avro/Protobuf 数据格式，分区与副本策略。
消息队列序列化高可用
04
实时计算引擎
Flink DataStream/Operator/Window 核心概念，Spark Streaming 对比与选型建议。
FlinkSpark选型
05
Flink时间语义
Event Time、Processing Time、Ingestion Time 区别，Watermark 机制详解。
时间语义Watermark乱序
06
Flink窗口机制
Tumbling、Sliding、Session、Global 窗口实战，窗口函数与触发器。
窗口聚合实战
07
状态管理与容错
ValueState、MapState、ListState 详解，Checkpoint 与 Savepoint 机制。
状态容错一致性
08
特征存储层
Redis、HBase、Druid 在线存储选型，冷热分离与 TTL 策略。
存储NoSQL冷热分离
09
特征服务层
特征获取 API 设计，高并发低延迟优化，本地缓存+分布式缓存策略。
API缓存高并发
10
特征生产流程
特征定义、注册、计算、上线、监控全链路，生产闭环。
流程全链路DevOps
11
特征回溯与回填
为什么需要回溯，离线回填与实时回填方案，数据一致性保证。
回溯回填一致性
12
特征版本管理
版本号设计、灰度发布、回滚机制、AB Test 支持。
版本灰度实验
13
特征质量监控
数据延迟、准确性校验、覆盖率统计、异常告警体系。
监控质量告警
14
实时特征ETL
数据清洗、转换、聚合，多流 Join（Interval Join、Window Join）。
ETLJoin清洗
15
复杂事件处理（CEP）
Flink CEP 基础、模式定义、超时处理，风控场景应用。
CEP模式匹配风控
16
特征计算中的维表关联
异步 IO、广播状态、维表缓存与更新机制。
维表异步广播
17
实时特征中的聚合计算
滑动聚合、累积聚合、Count-Min Sketch 等近似算法。
聚合近似Sketch
18
特征计算中的时间序列处理
滑动窗口统计、指数加权移动平均、时序特征提取。
时序EWMA滑动
19
特征计算中的交叉特征
特征组合、特征交叉、Embedding 特征实时计算。
交叉Embedding组合
20
实时特征计算中的反压机制
反压产生原因、Flink 反压监控、处理策略。
反压背压监控
21
资源管理与弹性伸缩
Flink 资源模型、动态扩缩容、Kubernetes 部署实践。
K8s弹性资源
22
实时特征计算的数据治理
元数据管理、数据血缘、数据质量 SLA。
治理血缘SLA
23
特征计算中的一致性保证
Exactly-Once 语义、幂等性设计、数据去重策略。
一致性幂等去重
24
实时特征计算性能优化
算子链、序列化、内存管理、并行度调优。
优化调优性能
25
特征计算中的异常处理
脏数据、数据倾斜、任务重启策略。
异常倾斜容错
26
实时特征计算测试
单元测试、集成测试、性能测试、混沌工程。
测试混沌质量
27
特征计算平台建设
平台架构、特征管理界面、权限控制、审计日志。
平台权限审计
28
实时特征计算在推荐系统中的应用
用户实时兴趣、物品实时热度、上下文特征。
推荐兴趣热度
29
实时特征计算在风控系统中的应用
设备指纹、行为序列、关系图谱特征。
风控指纹图谱
30
实时特征计算未来趋势
流批一体、云原生、AI 辅助特征生成、标准化。
趋势云原生AI
专注课程资料整理