VIP20
本课程属于：022-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多引擎湖仓跨引擎查询异常端到端排查

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 多引擎湖仓架构概述
课程导入学习目标
02
多引擎湖仓基础
数据湖与数据仓库的区别 · 湖仓一体架构 · 常见引擎（Spark
多引擎湖仓基础数据湖
03
跨引擎查询原理
元数据服务（Hive Metasto… · AWS Glue） · 数据目录（Catalog）
跨引擎查询原理Hive
04
查询异常类型
语法错误 · 权限问题 · 资源不足
查询异常类型语法错误
05
排查方法论
端到端排查流程 · 日志收集 · 监控指标
排查方法论端到端排查流程
06
环境准备
搭建多引擎湖仓测试环境（Docker… · 配置各引擎连接
环境准备Docker
07
元数据异常排查
表不存在 · 分区丢失 · 元数据不一致导致查询失败
元数据异常排查表不存
08
权限与认证问题
跨引擎权限模型 · Kerberos · Ranger
权限认证问题
09
资源与性能问题
队列资源不足 · 内存溢出 · 数据倾斜导致查询超时或失败
资源性能问题
10
数据格式与兼容性
文件格式（Parquet · ORC · Avro）与引擎支持差异
数据格式兼容性
11
SQL方言差异
各引擎SQL语法差异 · 函数差异 · 类型转换问题
SQL方言差异
12
连接与网络问题
跨集群连接 · DNS解析 · 端口不通
连接网络问题
13
日志分析实战
如何从引擎日志（Spark日志 · Flink日志 · Presto日志）定位异常
日志分析实战Spark
14
监控与告警
关键指标监控 · 告警规则设置 · 异常检测
监控告警
15
案例实战一
Spark SQL查询Hudi表失败…
案例实战一Spark
16
案例实战二
Flink写入Iceberg后Pre…
案例实战二Flink
17
案例实战三
Trino查询Delta Lake表…
案例实战三Trino
18
案例实战四
跨引擎查询权限不足问题
案例实战四跨引擎查询权限不…
19
案例实战五
数据倾斜导致查询性能下降
案例实战五数据倾斜导致查询…
20
常见问题汇总
高频错误码 · 常见陷阱 · 解决方案速查
常见问题汇总高频错误码
21
性能调优
查询计划分析 · 索引优化 · 缓存策略
性能调优查询计划分析
22
数据一致性保障
跨引擎数据可见性 · 事务隔离级别
数据一致性保障跨引擎数据可见性
23
引擎升级与迁移
版本兼容性 · 迁移注意事项
引擎升级迁移
24
自动化排查工具
脚本化日志分析 · 智能诊断工具
自动化排查工具脚本化日志分析
25
综合实战
端到端模拟一个复杂查询异常 · 从发现到解决
综合实战端到端模拟一个复…
26
最佳实践
架构设计 · 运维规范 · 团队协作
最佳实践架构设计
27
安全与合规
数据加密 · 审计日志 · 合规要求
安全合规
28
未来趋势
湖仓技术演进 · 新引擎特性 · 云原生湖仓
未来趋势湖仓技术演进
29
课程总结
核心要点回顾 · 学习路径建议
课程总结核心要点回顾
30
结业测试
综合测试题与项目作业
结业测试综合测试题