VIP20
本课程属于：023-数据血缘与目录 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时特征与血缘分析协同应用

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
实时特征工程概述
从离线到实时的演进，实时特征在推荐、风控等场景的应用，课程整体架构预览。
演进应用场景架构
第2章
实时数据源接入
Kafka核心概念、生产者/消费者API、消息序列化与反序列化（Avro/Protobuf）。
KafkaAPIAvroProtobuf
第3章
实时流处理基础
Flink核心概念（DataStream、Operator），环境搭建与WordCount实战。
FlinkDataStreamWordCount
第4章
时间语义与水位线
Event Time、Processing Time、Ingestion Time的区别，Watermark机制与乱序处理。
时间语义Watermark乱序
第5章
状态编程与容错
Flink状态后端（Memory/Fs/RocksDB），Checkpoint与Savepoint机制，Exactly-Once语义。
状态后端CheckpointExactly-Once
第6章
实时特征计算窗口
Tumbling Window、Sliding Window、Session Window的原理与代码实现。
窗口TumblingSlidingSession
第7章
实时特征存储选型
Redis、HBase、Druid对比，特征存储的TTL与过期策略。
RedisHBaseDruidTTL
第8章
特征工程与血缘分析入门
什么是数据血缘？为什么实时特征需要血缘？血缘核心要素：表、字段、转换逻辑。
数据血缘核心要素转换逻辑
第9章
血缘元数据模型设计
实体关系图（ETL Job、Dataset、Field），OpenLineage规范介绍。
元数据OpenLineage实体关系
第10章
实时血缘采集技术
Flink算子级别的血缘捕获（自定义Sink/Operator），解析SQL中的血缘关系。
Flink血缘捕获SQL解析
第11章
血缘存储与查询
使用Neo4j图数据库存储血缘关系，Cypher查询语句入门。
Neo4jCypher图数据库
第12章
实时特征与血缘的关联
特征生产链路追踪，从特征值反向溯源到原始数据。
链路追踪反向溯源特征血缘
第13章
特征一致性校验
离线特征vs实时特征对比，基于血缘的字段级Diff工具设计。
一致性字段级Diff校验
第14章
实时特征质量监控
基于血缘的异常检测（空值率、延迟、分布漂移），告警机制。
质量监控异常检测告警
第15章
特征生命周期管理
特征注册、版本管理、下架流程，血缘如何辅助影响分析。
生命周期版本管理影响分析
第16章
实时特征服务化
特征API设计（高并发、低延迟），特征缓存策略（本地缓存+分布式缓存）。
API设计高并发缓存策略
第17章
特征计算与存储分离
基于Flink+Redis的实时特征计算架构，避免状态膨胀。
计算存储分离FlinkRedis
第18章
多级特征存储架构
Hot/Warm/Cold分层存储，基于访问频率的血缘驱动数据迁移。
分层存储Hot/Warm/Cold数据迁移
第19章
实时特征回溯与回填
基于血缘的离线回填策略，保证实时与离线特征一致性。
回溯回填一致性
第20章
特征血缘可视化
使用D3.js或Graphviz绘制实时特征的血缘DAG图。
可视化D3.jsGraphvizDAG
第21章
实时特征治理平台
功能模块设计：元数据管理、血缘查询、质量看板、告警中心。
治理平台元数据质量看板
第22章
基于Flink SQL的实时特征开发
CREATE TABLE语句、维表JOIN、UDF编写。
Flink SQL维表JOINUDF
第23章
实时特征性能调优
Flink反压处理、算子链优化、Kafka分区与并行度配置。
性能调优反压算子链并行度
第24章
实时特征测试策略
单元测试（Mock数据）、集成测试（MiniCluster）、混沌工程。
单元测试集成测试混沌工程
第25章
实时特征部署与运维
Kubernetes部署Flink作业、日志采集、监控大盘（Grafana）。
Kubernetes部署Grafana监控
第26章
实时特征在推荐系统中的应用
用户实时兴趣标签计算，物品实时热度更新。
推荐系统兴趣标签实时热度
第27章
实时特征在风控系统中的应用
设备指纹、行为序列特征、实时规则引擎。
风控设备指纹行为序列规则引擎
第28章
实时特征在广告系统中的应用
实时CTR预估特征，预算平滑控制。
广告系统CTR预估预算控制
第29章
大规模实时特征架构实战
日处理千亿事件的架构设计，资源估算与成本优化。
大规模千亿事件成本优化
第30章
课程总结与展望
实时特征与血缘的未来趋势：Data Mesh、Active Metadata、LLM辅助治理。
Data MeshActive MetadataLLM