VIP20

本课程属于：038-AI数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI数据流批一体架构设计

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

流批一体概念、发展背景、核心价值、与传统架构对比。

概念背景对比

Lambda架构详解

Lambda架构原理、批处理层、速度层、服务层、优缺点分析。

架构批处理速度层

Kappa架构详解

Kappa架构原理、消息队列为核心、日志即数据、优缺点分析。

消息队列日志实时

流批一体技术选型

Flink、Spark Streaming、Kafka Streams对比、选型策略。

FlinkSparkKafka

Flink核心概念

DataStream API、DataSet API、Table API、SQL、时间语义。

Flink状态管理

状态类型、状态后端、Checkpoint机制、Savepoint机制。

状态CheckpointSavepoint

Flink容错机制

Exactly-Once语义、端到端一致性、故障恢复流程。

容错一致性恢复

Flink Watermark机制

Watermark原理、乱序处理、Allowed Lateness、Side Output。

Watermark乱序延迟

Flink Window机制

Tumbling Window、Sliding Window、Session Window、Global Window。

窗口滚动滑动

Flink Connector体系

Kafka Connector、JDBC Connector、HDFS Connector、Elasticsearch Connector。

连接器KafkaJDBC

Flink SQL实战

动态表、连续查询、CDC数据同步、维表Join。

Kafka核心原理

分区机制、副本机制、ISR机制、日志压缩。

分区副本ISR

Kafka Exactly-Once语义

幂等生产者、事务生产者、消费者事务。

Exactly-Once事务幂等

Kafka Streams详解

DSL API、Processor API、状态存储、KTable与KStream。

StreamsDSL状态

流批一体数据湖

Apache Iceberg、Delta Lake、Apache Hudi对比、ACID事务。

数据湖IcebergHudi

Iceberg核心特性

表格式、分区演进、时间旅行、隐藏分区。

Iceberg分区时间旅行

Flink + Iceberg实战

流式写入、批量读取、CDC入湖、小文件合并。

FlinkIcebergCDC

流批一体数仓分层

ODS层、DWD层、DWS层、ADS层设计、数据一致性。

数仓分层一致性

实时ETL架构

CDC采集、实时清洗、实时聚合、实时分发。

实时数仓案例

用户行为分析、实时大屏、实时报表、实时推荐。

案例大屏推荐

流批一体监控体系

Metrics采集、告警规则、链路追踪、SLA保障。

监控告警SLA

流批一体运维实践

集群部署、资源隔离、扩缩容、版本升级。

运维部署扩缩容

流批一体数据质量

数据校验、异常检测、数据修复、血缘追踪。

质量血缘修复

流批一体安全机制

认证授权、数据加密、审计日志、RBAC模型。

安全RBAC加密

流批一体性能优化

算子优化、序列化优化、网络优化、内存优化。

性能优化内存

流批一体测试策略

单元测试、集成测试、性能测试、混沌工程。

测试混沌集成

流批一体CI/CD

代码管理、自动化构建、自动化部署、灰度发布。

CI/CD自动化灰度

流批一体架构演进

从Lambda到Kappa、从批处理到流处理、未来趋势。

演进趋势Lambda

流批一体最佳实践

架构设计原则、常见陷阱、经验总结、案例复盘。

最佳实践陷阱复盘

流批一体综合实战

电商实时数仓全流程、从采集到展示、端到端实现。

实战电商端到端