VIP20

本课程属于：039-向量数据工程 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时特征工程与向量化流水线

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时特征工程概述

什么是实时特征工程，与离线特征工程的区别，推荐系统、风控、实时监控等应用场景。

实时数据源接入

Kafka基础概念与架构，生产者与消费者API，Flink Kafka Connector实战。

实时数据清洗

数据质量检查、缺失值处理、异常值检测与过滤、去重策略。

实时特征计算

滑动窗口聚合(Tumbling/Hopping/Sliding)，时间衰减统计，实时比率与差值计算。

实时特征存储

Redis数据结构与选择，Pipeline与批量操作，特征TTL与过期策略。

特征向量化基础

特征向量概念，One-Hot/Label/Embedding编码，特征缩放与归一化。

编码归一化

实时特征拼接

特征主键设计，多流Join策略(Interval/Regular Join)，特征版本管理。

Flink状态后端

状态的概念，HashMapStateBackend vs RocksDBStateBackend，状态TTL配置。

Flink Checkpoint与容错

Checkpoint原理，Exactly-Once语义，Savepoint与状态迁移。

容错Exactly-Once

实时特征Pipeline架构设计

Lambda与Kappa架构，流批一体设计，端到端延迟优化。

架构流批一体

特征存储系统设计

特征仓库概念，Avro/Parquet存储格式，特征血缘追踪。

特征工程平台化

特征注册中心，发布与回滚，监控与告警。

实时模型推理Pipeline

在线推理架构，Feature Store Serving，模型版本管理。

向量数据库基础

向量检索原理(ANN/IVF/HNSW)，Milvus架构与部署，索引构建。

实时向量化流程

Embedding模型选择，实时Embedding计算，向量入库与更新策略。

Embedding向量化

特征与向量联合查询

混合检索(标量+向量)，Filtered Search，多向量融合。

混合检索过滤

实时特征工程性能优化

算子链与资源调优，反压处理，数据倾斜解决方案。

Flink SQL在特征工程中的应用

CREATE TABLE AS，窗口聚合，UDF/UDAF开发。

实时特征测试与验证

A/B测试框架，特征回溯，数据一致性校验。

生产环境部署

Kubernetes部署Flink，资源隔离与配额，日志与监控体系。

实时特征数据治理

数据质量SLA，特征漂移检测，数据生命周期管理。

特征工程与MLOps集成

特征管道与训练管道对接，特征重要性分析，自动特征工程。

实时特征安全与隐私

数据脱敏，差分隐私，特征访问控制。

多模态特征工程

文本NLP Pipeline，图像CNN Embedding，时序特征处理。

实时推荐系统特征工程

用户行为序列、物品属性、上下文特征实战案例。

实时风控系统特征工程

设备指纹、交易图谱、行为序列等风控特征。

风控设备指纹

实时监控与异常检测特征工程

指标聚合、同比环比、突变检测。

监控异常检测

特征工程进阶

自动特征交叉，特征选择算法，特征重要性评估。

实时特征工程未来趋势

Feature Store标准化，实时特征与LLM结合，边缘端特征计算。

综合实战项目

构建端到端实时特征工程与向量化流水线，从数据接入到在线推理。

实战端到端