VIP20

本课程属于：038-AI数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时特征工程落地实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时特征工程概述

什么是实时特征工程，实时与离线特征的区别，风控、推荐、监控等典型应用场景。

实时计算技术选型

Flink vs Spark Streaming vs Kafka Streams 选型对比与适用场景分析。

Flink基础入门

Flink架构、DataStream API、执行环境搭建，开发第一个实时程序。

Flink时间语义与水位线

Event Time、Processing Time、Ingestion Time，Watermark机制与乱序处理。

时间语义Watermark

Flink状态管理

Keyed State与Operator State、状态后端（RocksDB、FsStateBackend）、状态TTL。

Flink Checkpoint与容错

Exactly-Once语义、Checkpoint配置、Savepoint的使用与状态恢复。

容错Checkpoint

Flink SQL与Table API

动态表、流式SQL查询、UDF自定义函数，简化实时特征开发。

Kafka消息队列实战

Kafka核心概念、生产者与消费者配置、Topic分区策略、消息可靠性保证。

Kafka消息队列

Kafka Streams入门

Kafka Streams DSL、状态存储、KTable与KStream，构建轻量实时应用。

Kafka StreamsDSL

实时特征存储选型

Redis、HBase、Druid、ClickHouse，不同场景下的存储选型对比。

Redis在实时特征中的应用

String、Hash、Set、Sorted Set，Pipeline批量操作与过期策略。

HBase在实时特征中的应用

RowKey设计、列族设计、批量写入优化、Scan性能调优实战。

实时特征计算模式

滑动窗口、滚动窗口、会话窗口、Cron触发计算，灵活应对不同业务。

窗口计算模式

特征聚合实战

计数、求和、均值、最大最小、去重计数（HyperLogLog）等聚合操作。

聚合HyperLogLog

特征交叉与组合

特征笛卡尔积、特征哈希、特征分桶、特征归一化方法与实践。

实时特征生产链路

数据采集（Kafka Connect、Canal）、ETL清洗、特征计算与存储全流程。

实时特征监控与告警

特征延迟、质量、缺失率监控，Prometheus+Grafana可视化告警。

监控Prometheus

实时特征服务化

特征API设计（RESTful/gRPC）、缓存策略、高并发优化实践。

实时特征一致性保证

幂等性设计、最终一致性、Exactly-Once写入，保障数据准确。

一致性Exactly-Once

实时特征回溯与回填

历史数据回放、特征回溯方案、数据补偿机制与最佳实践。

实时特征AB测试

特征版本管理、分流策略、在线评估与实验效果分析。

实时特征治理

特征注册中心、血缘追踪、生命周期管理，提升特征可维护性。

实时特征安全与权限

数据脱敏、访问控制、审计日志，保障特征数据安全合规。

实时特征成本优化

资源弹性伸缩、数据压缩、冷热数据分离，降低实时计算成本。

实时特征在风控场景实战

实时反欺诈特征、设备指纹、行为序列特征，构建风控体系。

风控反欺诈

实时特征在推荐场景实战

实时用户画像、物品特征、上下文特征，提升推荐实时性。

推荐用户画像

实时特征在监控场景实战

实时异常检测特征、指标聚合、告警特征，保障系统稳定。

监控异常检测

实时特征工程平台建设

特征平台架构、特征编排、发布与回滚，实现平台化管理。

实时特征工程最佳实践

常见坑与避坑指南、性能调优、稳定性保障经验总结。

最佳实践调优

实时特征工程未来趋势

Flink CDC、实时特征湖仓一体、AI驱动的特征工程前瞻。

趋势湖仓一体

专注课程资料整理