VIP20

本课程属于：025-实时特征平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时特征平台基于实时特征的模型迭代

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时特征系统概述

什么是实时特征、实时特征与离线特征的区别、实时特征系统的应用场景（推荐、风控、搜索）。

实时特征计算引擎选型

Flink vs Spark Streaming vs Kafka Streams，选型对比与适用场景。

FlinkSparkKafka

Flink基础概念

DataStream API、时间语义（Event Time、Processing Time）、Watermark机制。

时间语义Watermark

Flink状态后端

状态的概念、状态后端类型（Memory、FileSystem、RocksDB）、状态后端选型。

RocksDB状态管理

Flink Checkpoint与容错

Checkpoint原理、Exactly-Once语义、Savepoint与恢复。

容错Exactly-Once

实时特征数据源

Kafka作为数据源、Kafka Topic设计、消息序列化（Avro/Protobuf）。

KafkaAvroProtobuf

实时特征ETL

数据清洗、字段过滤、类型转换、数据补全。

ETL数据清洗

实时特征窗口计算

Tumbling Window、Sliding Window、Session Window、Count Window。

实时特征聚合

SUM、COUNT、AVG、MAX、MIN、Distinct Count（HyperLogLog）。

HyperLogLog聚合函数

实时特征Join

双流Join、维表Join（Async IO）、Temporal Join。

双流Join维表

实时特征存储

特征存储选型（Redis、HBase、TiKV）、特征TTL设计。

实时特征服务

特征获取API设计、特征缓存策略、高并发优化。

API缓存高并发

实时特征监控

延迟监控、吞吐量监控、数据质量监控、报警策略。

实时特征版本管理

特征Schema管理、特征版本回滚、特征灰度发布。

实时特征AB测试

特征分流策略、实验组与对照组、效果评估指标。

实时特征与模型训练

实时特征写入训练样本、特征一致性校验。

训练样本一致性

实时特征与模型推理

在线推理特征获取、特征拼接、特征时效性保证。

推理时效性

模型在线学习

Online Learning原理、FTRL算法、实时样本反馈。

Online LearningFTRL

模型自动迭代

特征重要性漂移检测、模型性能衰减监控、自动触发重训练。

漂移检测自动重训

特征工程自动化

自动特征生成、特征交叉、特征选择。

AutoFE特征交叉

实时特征数据湖

实时特征写入Iceberg/Hudi、流批一体架构。

IcebergHudi流批一体

实时特征血缘追踪

特征来源追踪、数据血缘可视化、影响分析。

血缘可视化

实时特征成本优化

资源动态调整、数据压缩、冷热数据分离。

成本压缩冷热分离

实时特征安全与权限

数据脱敏、访问控制、审计日志。

安全脱敏审计

实时特征测试

单元测试、集成测试、端到端测试、数据回放测试。

实时特征部署

Docker容器化、Kubernetes编排、CI/CD流水线。

实时特征灾备

多机房部署、主备切换、数据一致性保障。

灾备多机房一致性

实时特征最佳实践

常见坑点总结、性能调优经验、架构演进案例。

最佳实践调优

实时特征系统案例：推荐系统

用户行为、物品属性、上下文特征实战。

推荐系统实战

实时特征系统案例：风控系统

设备指纹、交易序列、关系图谱实战。

风控设备指纹关系图谱

专注课程资料整理