VIP20

本课程属于：050-多云数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时特征平台与Lakehouse数据集成

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时特征平台概述

什么是实时特征平台、为什么需要实时特征、与离线特征的区别、典型应用场景。

Lakehouse架构基础

数据湖与数据仓库的演进、Lakehouse核心概念、Delta Lake/Iceberg/Hudi对比。

实时特征平台核心组件

特征存储、特征工程、特征服务、特征监控、特征治理。

流式计算引擎选型

Flink、Spark Streaming、Kafka Streams对比、选型考量因素。

Flink实时特征计算基础

Flink DataStream API、时间语义、Watermark机制、状态后端。

Flink SQL在特征工程中的应用

CREATE TABLE AS、窗口聚合、维表JOIN、UDF/UDAF。

特征存储设计与实现

特征存储模型、在线/离线存储选型、Redis/RocksDB/HBase对比。

特征服务架构设计

高并发低延迟特征获取、特征缓存策略、特征版本管理。

特征血缘与元数据管理

特征来源追踪、特征依赖分析、元数据存储方案。

血缘元数据

特征质量监控与告警

特征延迟监控、特征值分布漂移检测、空值率监控。

实时与离线特征一致性保障

双跑机制、T+1校验、特征回溯方案。

一致性校验

特征工程平台化

特征注册中心、特征发布流程、特征下线管理。

平台化治理

Lakehouse与实时特征集成方案

Delta Live Tables、Apache Hudi MOR、Iceberg CDC。

集成Lakehouse

基于Delta Lake的实时特征写入

Merge Into、Change Data Feed、Z-Order优化。

基于Apache Hudi的实时特征写入

Copy-on-Write vs Merge-on-Read、Incremental Query。

基于Apache Iceberg的实时特征写入

V2格式、Row-Level Delete、Spark Procedure。

实时特征数据入湖最佳实践

小文件合并、分区策略、Compaction策略。

特征回溯与历史特征计算

Temporal Join、Snapshot Query、Time Travel。

实时特征在线推理Pipeline

特征获取、模型推理、结果回写全链路。

特征平台与模型训练集成

Training Serving Skew、特征时间对齐、特征重要性分析。

特征平台与特征商店(Feature Store)

Feast、Tecton、Hopsworks对比与选型。

Feature Store选型

基于Feast的实时特征平台搭建

Feature Repository、Online Store、Offline Store。

实时特征平台性能优化

特征预计算、特征缓存、特征预加载、异步特征获取。

特征平台高可用与容灾设计

多活架构、故障转移、数据一致性保障。

高可用容灾

实时特征平台安全与权限管理

特征脱敏、访问控制、审计日志。

特征平台成本优化

计算资源弹性伸缩、存储分层、冷热数据分离。

实时特征平台监控体系

Prometheus + Grafana、特征延迟、吞吐量、错误率。

监控可观测

特征平台CI/CD与自动化测试

特征变更测试、回归测试、灰度发布。

大规模实时特征平台案例

广告推荐特征平台、风控特征平台、搜索特征平台。

案例大规模

实时特征平台未来趋势

Feature as Code、LLM与特征工程结合、Serverless特征平台。