VIP20
本课程属于：024-流批一体架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时特征工程从零到上手

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
实时特征工程概述
什么是实时特征工程、实时特征与离线特征的区别、实时特征的应用场景（风控、推荐、监控）。
概念场景
第2章
实时计算基础
流处理与批处理对比、事件时间与处理时间、水位线（Watermark）机制。
流处理时间语义
第3章
实时数据源接入
Kafka基础概念与架构、Kafka生产者与消费者API、Kafka主题与分区策略。
Kafka数据源
第4章
Flink入门
Flink架构与核心组件、Flink开发环境搭建（本地模式）、第一个Flink WordCount程序。
Flink入门
第5章
Flink DataStream API
Source算子（Kafka、Socket、文件）、Transformation算子（Map、FlatMap、Filter）、Sink算子（Kafka、MySQL、文件）。
API算子
第6章
Flink时间语义与水位线
事件时间与处理时间配置、水位线生成策略（周期性、标点式）、水位线传播机制。
时间水位线
第7章
Flink窗口操作
滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）、会话窗口（Session Window）、窗口函数（ReduceFunction、AggregateFunction、ProcessWindowFunction）。
窗口聚合
第8章
Flink状态管理
状态类型（ValueState、ListState、MapState）、状态后端（Memory、FS、RocksDB）、状态一致性（Exactly-Once语义）。
状态一致性
第9章
Flink容错机制
检查点（Checkpoint）原理、保存点（Savepoint）原理、重启策略（固定延迟、失败率、指数退避）。
容错Checkpoint
第10章
实时特征存储选型
Redis（内存数据库）、HBase（列式存储）、MySQL（关系型数据库）、特征存储对比与选型策略。
存储选型
第11章
实时特征计算模式
基于滑动窗口的统计特征（均值、方差、计数）、基于时间衰减的加权特征、基于Session的聚合特征。
计算模式聚合
第12章
实时特征工程实战（一）
用户行为实时统计特征（PV、UV、点击率）、代码实现与Flink SQL方案。
实战Flink SQL
第13章
实时特征工程实战（二）
用户实时画像特征（标签权重、兴趣衰减）、基于Flink CEP的模式匹配特征。
画像CEP
第14章
实时特征工程实战（三）
实时序列特征（LSTM输入构造）、特征拼接与维度对齐。
序列LSTM
第15章
实时特征质量监控
特征延迟监控（Lag监控）、特征缺失率监控、特征分布漂移检测（PSI、KS）。
监控质量
第16章
实时特征回溯与回填
特征回溯的必要性、基于Kafka重放的回填方案、基于Flink Savepoint的增量回填。
回溯回填
第17章
实时特征服务化
特征API设计（RESTful/gRPC）、特征缓存策略（本地缓存、分布式缓存）、特征服务高可用设计。
服务化API
第18章
实时特征与机器学习模型集成
在线推理架构（特征服务+模型服务）、特征一致性校验（训练与推理特征对齐）、特征重要性实时监控。
ML推理
第19章
实时特征治理
特征注册中心（元数据管理）、特征版本管理、特征生命周期管理。
治理元数据
第20章
实时特征工程进阶
多流Join（Interval Join、Regular Join）、维表关联（Async IO、广播状态）、复杂事件处理（CEP）。
进阶Join
第21章
Flink SQL在实时特征中的应用
创建Kafka源表、定义窗口聚合、维表Join（Temporal Table Join）、写入特征存储。
Flink SQL维表
第22章
实时特征性能优化
算子链与资源调优、反压（Backpressure）检测与处理、状态大小优化（TTL配置、增量Checkpoint）。
性能调优
第23章
实时特征数据湖集成
Flink写入Iceberg/Hudi、实时特征与离线特征统一存储、流批一体特征架构。
数据湖流批一体
第24章
实时特征监控与告警体系
Prometheus + Grafana监控Flink作业、特征延迟告警规则配置、特征质量Dashboard搭建。
监控告警
第25章
实时特征工程案例（一）
金融风控实时特征（交易频次、设备指纹、地理位置异常）、反欺诈模型特征。
风控金融
第26章
实时特征工程案例（二）
实时推荐系统特征（用户实时兴趣、物品实时热度、上下文特征）、特征更新策略。
推荐系统
第27章
实时特征工程案例（三）
IoT物联网实时特征（传感器数据聚合、异常检测特征、设备状态特征）。
IoT物联网
第28章
实时特征工程最佳实践
特征开发规范（命名、类型、粒度）、特征测试策略（单元测试、集成测试、端到端测试）、特征上线流程（灰度发布、A/B测试）。
规范实践
第29章
实时特征工程未来趋势
流式特征存储（Feature Store）、实时特征与LLM结合、云原生实时特征平台。
趋势Feature Store
第30章
课程总结与项目实战
端到端实时特征工程平台搭建（数据接入 -> 特征计算 -> 特征存储 -> 特征服务 -> 模型推理）、课程回顾与进阶学习路径。
总结实战
专注课程资料整理