VIP20
本课程属于：027-金融特征平台批流一体链路 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Flink实时特征生产链路详解

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
特征工程概述
特征工程的定义 · 特征工程在机器学习中的重要性 · 实时特征与离线特征的区别
特征工程概述特征工程的定义
02
实时特征生产挑战
低延迟要求 · 高吞吐处理 · 数据一致性
实时特征生产挑战低延迟要求
03
Flink核心概念回顾
DataStream API · 时间语义（Event Time/Pr… · Watermark机制
Flink核心概念回顾
04
Flink实时特征生产架构
整体架构图（数据源→Flink作业→… · 各组件职责
Flink实时特征生产架构
05
数据源接入
Kafka Source配置 · Schema Registry集成 · 数据反序列化（Avro/Protob…
数据源接入Kafka
06
数据清洗与预处理
过滤脏数据 · 字段类型转换 · 空值处理
数据清洗预处理
07
特征时间窗口计算
Tumbling Window · Sliding Window · Session Window在特征聚…
特征时间窗口计算Tumbling
08
滑动窗口特征实战
近5分钟/30分钟/1小时的用户点击… · 购买率计算
滑动窗口特征实战近5分钟
09
Session Window特征实战
用户一次会话内的行为序列特征（页面停… · 跳转路径）
SessionWindow
10
Over窗口与排序特征
基于OrderBy的TopN特征 · Rank特征（如用户最近3次购买金额…
Over窗口
11
多流Join特征
双流Join（订单流+支付流） · Interval Join · Window Join
Join多流
12
维表关联特征
HBase/Redis维表异步IO · 维表缓存策略（LRU/TTL） · 维表热更新
维表关联特征HBase/Redis
13
复杂事件处理（CEP）特征
CEP模式定义 · 匹配序列特征（如用户“浏览→加购→支…
CEP复杂事件处理
14
状态后端与状态管理
HashMapStateBacken… · State TTL · 大状态优化
状态后端状态管理
15
Flink SQL在特征生产中的应用
CREATE TABLE定义 · GROUP BY窗口聚合 · JOIN
FlinkSQL
16
自定义UDF/UDAF/UDTF
编写特征计算函数 · 累加器设计 · 函数注册与使用
UDF/UDAF/UDT…自定义
17
特征存储选型
特征存储对比（Redis/MySQL… · 写入策略（UPSERT/批量写入）
特征存储选型Redis/MySQL
18
特征在线服务接口
RESTful API设计 · 特征查询性能优化（批量查询 · 缓存穿透防护）
特征线服务接口
19
特征血缘与元数据管理
特征命名规范 · 血缘追踪（从源到特征） · 元数据存储（Hive Metasto…
特征血缘元数据管理
20
特征质量监控
数据延迟监控 · 特征值分布漂移检测 · 空值率告警
特征质量监控数据延迟监控
21
Flink作业调优
并行度设置 · 算子链优化 · Buffer Timeout调整
Flink作业调优
22
Checkpoint与容错
Exactly-Once语义 · Checkpoint配置 · 故障恢复策略
Checkpoint容错
23
生产环境部署
YARN/K8s部署模式 · 资源分配 · 日志与监控（Prometheus+G…
生产环境部署YARN/K8s
24
实时特征回溯（Backfill）
历史数据重跑 · Temporal Join回溯 · 状态重置与恢复
Backfill实时特征回溯
25
特征版本管理
特征Schema演进 · 兼容性处理 · 版本回滚策略
特征版本管理Schema
26
AB实验与特征隔离
实验分组 · 特征分流 · 在线/离线一致性校验
AB实验
27
端到端延迟优化
从数据产生到特征生效的全链路延迟分析 · 瓶颈定位与优化
端到端延迟优化从数据产生到特征…
28
大规模特征生产案例
千级特征 · 万级QPS场景下的架构设计与实践
大规模特征生产案…千级特征
29
Flink与机器学习框架集成
Flink + TensorFlow… · 特征直接输入模型
Flink机器学习框架集成
30
未来趋势与总结
实时特征平台演进方向（Feature… · Auto Feature · Serverless）
未来趋势Feature