VIP20
本课程属于：024-流批一体架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

统一SQL解决实时离线口径差异

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
统一SQL概述
为什么需要统一SQL？实时与离线口径差异的根源（数据源、计算引擎、时间语义）。
基础概念
02
核心概念
事件时间 vs 处理时间、水位线（Watermark）、窗口类型（滚动、滑动、会话）。
时间语义窗口
03
离线口径建模
Hive SQL 中的 T+1 聚合、分区裁剪、数据回溯原理。
Hive离线
04
实时口径建模
Flink SQL 中的 CDC 接入、状态后端、Checkpoint 机制。
Flink实时
05
统一SQL语法设计
DDL 统一声明、DML 统一查询、UDF 注册规范。
语法规范
06
时间语义统一
如何用同一套 SQL 表达离线 T+1 和实时 5 分钟窗口。
时间对齐
07
水位线策略
在 SQL 中定义 Watermark 生成策略，兼容离线批处理。
Watermark策略
08
窗口函数统一
Hive 窗口函数与 Flink 窗口函数的语法对齐与差异处理。
窗口函数对齐
09
状态管理
实时 SQL 中的状态 TTL 设置，如何模拟离线快照语义。
状态TTL
10
数据一致性
Exactly-Once 语义在统一 SQL 中的实现路径。
一致性Exactly-Once
11
维表关联
实时流与离线维表（HBase/MySQL）的 SQL JOIN 写法。
维表JOIN
12
双流 JOIN
如何用统一 SQL 实现实时双流 JOIN 并保证结果与离线一致。
双流JOIN
13
聚合下推
将离线聚合逻辑下推到实时引擎，减少计算开销。
下推优化
14
数据回溯
统一 SQL 如何支持从指定时间点重新计算（Backfill）。
回溯Backfill
15
元数据管理
统一 Catalog 设计，同时管理 Hive 表与 Kafka Topic。
元数据Catalog
16
SQL 校验层
语法校验、语义校验、血缘解析，确保实时离线逻辑一致。
校验血缘
17
运行时适配
SQL 解析为 Flink 或 Spark 执行计划，动态选择引擎。
适配引擎
18
性能调优
实时 SQL 的 MiniBatch 优化、Off-heap 内存配置。
调优内存
19
监控与告警
统一 SQL 作业的延迟监控、数据质量监控。
监控告警
20
测试框架
如何编写统一 SQL 的单元测试与集成测试（Mock 实时/离线数据）。
测试Mock
21
案例1：用户行为分析
实时 PV/UV 与离线 T+1 报表口径对齐。
案例用户行为
22
案例2：订单交易统计
实时 GMV 与离线财务对账差异消除。
案例交易
23
案例3：广告归因
实时点击归因与离线模型训练数据一致性。
案例广告
24
案例4：IoT 设备监控
实时告警与离线历史趋势分析统一。
案例IoT
25
案例5：日志清洗
实时 ETL 与离线批量清洗逻辑统一。
案例ETL
26
常见坑1：时区问题
实时流与离线分区的时间戳转换陷阱。
时区陷阱
27
常见坑2：数据延迟
如何处理实时迟到数据，保证离线回算正确。
延迟迟到数据
28
常见坑3：资源隔离
实时与离线作业共享集群时的资源争抢。
资源隔离
29
未来趋势
统一 SQL 与湖仓一体（Iceberg/Delta Lake）的结合。
趋势湖仓一体
30
总结与最佳实践
从 0 到 1 搭建统一 SQL 平台的路线图。
总结路线图