VIP20
本课程属于：019-Lakehouse架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时特征工程落地Lakehouse

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
实时特征工程概述
实时特征工程的定义、与传统批处理特征工程的区别、在推荐系统与风控场景中的核心价值。
定义批处理对比业务价值
02
Lakehouse架构基础
数据湖与数据仓库的融合、Delta Lake与Apache Iceberg的核心原理、ACID事务在特征存储中的重要性。
数据湖仓Delta LakeIceberg
03
实时数据源接入
Kafka与Pulsar作为实时数据管道、Schema Registry管理特征Schema、Exactly-Once语义保证。
KafkaPulsarExactly-Once
04
流处理引擎选型
Apache Flink与Spark Structured Streaming对比、低延迟与高吞吐的权衡、状态后端的选择（RocksDB vs Heap）。
FlinkSpark状态后端
05
特征存储设计
在线特征存储（Redis/P99）与离线特征存储（Delta Table）的双写模式、特征新鲜度与一致性模型。
在线/离线双写一致性
06
实时特征计算
滑动窗口与计数窗口的实现、基于Flink的CEP复杂事件处理、特征回溯与时间旅行。
窗口CEP时间旅行
07
特征工程Pipeline
从原始数据到特征向量的ETL流程、特征归一化与分桶策略、特征重要性评估与自动筛选。
ETL归一化自动筛选
08
特征服务化
特征API的构建（gRPC vs REST）、特征缓存策略（本地缓存 vs 分布式缓存）、特征预计算与预热机制。
gRPC缓存预热
09
特征监控与运维
特征漂移检测（Data Drift）、特征延迟监控、特征质量告警与自动回滚。
漂移检测延迟监控告警
10
特征治理与元数据管理
特征目录（Feature Store Catalog）、特征血缘追踪、特征版本管理与回滚。
目录血缘版本管理
11
实时特征在推荐系统中的应用
用户实时行为序列特征、物品实时热度特征、多模态特征融合。
推荐行为序列多模态
12
实时特征在风控场景中的应用
设备指纹实时特征、交易链路实时特征、团伙欺诈实时检测特征。
风控设备指纹团伙欺诈
13
特征一致性保障
离线训练与在线推理的特征一致性校验、Time Travel机制确保可复现性、特征逻辑与物理隔离。
一致性Time Travel隔离
14
特征存储选型
HBase vs Cassandra vs TiKV、列族设计优化、TTL策略与数据过期。
HBaseCassandraTiKV
15
实时特征计算优化
算子链优化与资源调优、反压处理机制、Checkpoint与Savepoint最佳实践。
算子链反压Checkpoint
16
特征工程自动化
Auto Feature Engineering工具、基于遗传算法的特征搜索、特征生成模板化。
AutoFE遗传算法模板化
17
特征数据质量
空值处理策略、异常值检测与修正、特征分布一致性校验。
空值异常检测分布校验
18
特征安全与权限
特征数据脱敏、RBAC与ABAC权限模型、特征访问审计日志。
脱敏RBAC审计
19
多租户特征管理
特征隔离策略、资源配额管理、租户级别特征目录。
多租户隔离配额
20
特征工程与MLOps集成
特征Pipeline与模型训练管道的衔接、特征上线与模型上线协同、A/B测试中的特征管理。
MLOps协同上线A/B测试
21
实时特征存储成本优化
冷热数据分层、压缩算法选择（ZSTD vs LZ4）、存储格式优化（Parquet vs ORC）。
冷热分层ZSTDParquet
22
特征延迟优化
端到端延迟链路分析、微批处理 vs 纯流处理、特征预计算与物化视图。
延迟分析微批物化视图
23
特征工程测试
单元测试与集成测试框架、特征生成逻辑的回归测试、性能测试与压力测试。
单元测试回归测试压力测试
24
特征工程文档化
自动生成特征文档、特征使用示例与最佳实践、特征变更日志。
自动文档最佳实践变更日志
25
实时特征在广告场景中的应用
用户画像实时更新、广告点击率实时特征、竞价排名实时特征。
广告CTR竞价
26
实时特征在IoT场景中的应用
传感器数据实时特征、设备状态异常检测特征、时序特征提取。
IoT异常检测时序
27
特征工程与数据网格
数据产品化思维、特征即产品（Feature as a Product）、联邦特征计算。
数据网格FaaP联邦计算
28
特征工程灾难恢复
多活架构设计、特征数据备份与恢复、跨区域特征同步。
多活备份跨区域
29
特征工程未来趋势
LLM驱动的特征生成、特征工程即代码（Feature as Code）、Serverless特征计算。
LLMFeature as CodeServerless
30
综合实战：端到端实时特征工程平台
从数据接入到特征服务，涵盖架构设计、技术选型、代码实现与部署运维。
实战架构部署