VIP20

本课程属于：024-流批一体架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

统一SQL实现流批一体查询系统设计与落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

流处理与批处理的概念 · Lambda架构与Kappa架构 · 流批一体的价值与挑战

SQL标准与扩展

ANSI SQL标准 · 窗口函数 · 用户自定义函数(UDF) · 表值函数(TVF)

Flink SQL基础

Flink架构简介 · Flink SQL环境搭建 · Table API与SQL的关系

Flink SQL核心概念

动态表(Dynamic Table) · 连续查询(Continuous Query) · 时间属性(Processing Time & Event Time)

Flink SQL DDL与DML

CREATE TABLE · INSERT INTO · SELECT · JOIN操作

Flink SQL窗口聚合

滚动窗口(Tumble) · 滑动窗口(Hop) · 会话窗口(Session)

Flink SQL时间语义与Watermark

Event Time vs Processing Time · Watermark机制 · 延迟数据处理

时间Watermark

Flink SQL连接器

Kafka连接器 · JDBC连接器 · Hive连接器 · 文件系统连接器

连接器集成

CDC原理 · Flink CDC Connectors · 实时同步MySQL数据

Flink SQL状态管理与容错

状态后端(State Backend) · Checkpoint与Savepoint · Exactly-Once语义

Flink SQL优化

MiniBatch聚合 · LocalGlobal聚合 · Top-N优化 · Join优化

Flink SQL与Hive集成

Hive Catalog · Hive DDL兼容 · 批流一体读写Hive

Spark SQL基础

Spark架构简介 · Spark SQL环境搭建 · DataFrame与DataSet

Spark SQL核心概念

Catalyst优化器 · Tungsten执行引擎 · 动态分区裁剪

Spark SQL DDL与DML

CREATE TABLE · INSERT · MERGE · CTE(公用表表达式)

Spark SQL窗口函数与聚合

窗口函数 · Grouping Sets · Rollup · Cube

Spark SQL连接器

JDBC · Kafka · Parquet/ORC · Delta Lake

连接器存储

Spark SQL流处理 (Structured Streaming)

微批处理模式 · 连续处理模式 · 输出模式(Append/Complete/Update)

流处理Structured Streaming

Spark SQL与Hive集成

Spark on Hive · Hive Metastore共享 · ACID表支持

Spark SQL优化

AQE(自适应查询执行) · 动态合并 · 倾斜Join处理 · Broadcast Join

统一SQL语法设计

批流SQL语法统一 · Hint机制 · 动态表属性

统一元数据管理

Catalog统一 · Schema Registry · 数据类型映射

元数据Catalog

统一连接器框架

Source/Sink接口抽象 · 批流混合读取 · Exactly-Once写入

连接器抽象

统一时间处理

时间属性统一 · Watermark统一 · 窗口聚合统一

统一状态管理

状态后端抽象 · 状态TTL · 状态迁移

统一查询优化

规则优化统一 · 成本模型统一 · 执行计划统一

统一SQL测试框架

测试数据生成 · 结果验证 · 性能基准测试

流批一体实战案例1

实时ETL与离线ETL统一

流批一体实战案例2

实时数仓与离线数仓统一

流批一体未来趋势

云原生流批一体 · AI for SQL · Serverless SQL

趋势云原生