01
实时特征工程概述
什么是实时特征工程,实时与离线特征的区别,推荐、风控、监控等典型应用场景。
概念场景
02
实时数据源接入
消息队列Kafka基础,生产者与消费者API,Avro/Protobuf序列化选型。
Kafka序列化
03
Flink基础入门
Flink架构与核心概念,Java/Scala开发环境搭建,第一个流处理程序。
Flink入门
04
Flink时间语义与Watermark
Event Time与Processing Time,Watermark机制与乱序处理,Allowed Lateness与Side Output。
时间语义Watermark
05
Flink状态管理与容错
Keyed State与Operator State,RocksDB/Heap状态后端,Checkpoint与Savepoint机制。
状态容错
06
Flink窗口操作
Tumbling Window、Sliding Window、Session Window,以及自定义窗口触发器。
窗口触发器
07
Flink SQL与Table API
动态表概念,Flink SQL窗口聚合,连接JDBC/Elasticsearch等外部系统。
SQLTable API
08
特征存储(Feature Store)设计
在线与离线特征存储,特征注册与版本管理,特征服务API设计。
Feature StoreAPI
09
Redis在实时特征中的应用
Hash/Sorted Set数据结构,Pipeline与批量操作,集群模式与高可用。
Redis缓存
10
实时特征计算模式
滑动聚合特征(过去5分钟点击率),Session化特征,最近N个行为序列特征。
计算模式滑动聚合
11
特征工程API设计原则
RESTful API规范,版本管理,JSON/Protobuf请求与响应格式定义。
API设计REST
12
特征服务框架选型
Spring Boot vs Vert.x vs FastAPI,异步非阻塞模型对比,Service Mesh集成。
框架选型
13
特征计算与API联合部署
Flink作业与特征服务协同,WebSocket/gRPC Stream实时推送,特征缓存策略。
部署联合
14
特征一致性保障
离线与在线特征一致性校验,特征回溯(Backfill)机制,特征漂移监控。
一致性监控
15
实时特征工程中的AB测试
特征分桶与实验分流,实时特征实验平台架构,效果评估指标。
AB测试实验
16
特征重要性评估与筛选
基于Flink的在线特征统计,特征相关性分析,基于模型的特征重要性排序。
评估筛选
17
特征工程Pipeline编排
Apache Airflow与Flink集成,特征计算DAG设计,任务依赖与重试机制。
Pipeline编排
18
实时特征监控与告警
特征延迟监控,特征值分布异常检测,基于Prometheus+Grafana的监控体系。
监控告警
19
特征数据质量治理
数据完整性校验,异常值检测与处理,特征血缘追踪(Data Lineage)。
质量血缘
20
高性能特征服务优化
连接池管理,请求合并(Batching),本地缓存与分布式缓存结合。
性能优化
21
特征工程中的机器学习模型服务
模型在线预测与特征实时计算协同,模型热加载与版本切换。
ML模型服务
22
实时特征在推荐系统中的应用
用户实时兴趣特征,物品实时热度特征,特征组合与交叉。
推荐应用
23
实时特征在风控系统中的应用
设备指纹特征,行为序列特征,团伙关联特征。
风控安全
24
实时特征在监控与运维中的应用
指标异常检测特征,日志模式特征,根因分析特征。
运维监控
25
特征工程数据湖集成
实时特征写入Iceberg/Hudi,数据湖查询优化与增量处理。
数据湖Iceberg
26
特征工程安全与权限控制
特征数据脱敏,API鉴权(OAuth2/JWT),特征访问审计。
安全权限
27
特征工程成本优化
Flink资源调优,特征存储成本控制,API调用成本分析。
成本优化
28
特征工程自动化与平台化
特征自动生成与自动上线,特征平台建设经验。
自动化平台
29
实时特征工程最佳实践
常见坑与避坑指南,性能调优案例,架构演进案例。
最佳实践案例
30
综合实战项目
构建端到端实时特征工程与API系统,从数据接入到特征服务上线。
实战项目