VIP5

本课程属于：147-TVM与Triton算子编译优化 AI智能与边缘计算工程 · 共 5 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

TVM与Triton大模型编译优化

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · 大模型编译优化的背景与挑战

课程导入学习目标

深度学习编译器基础

编译器工作原理 · 中间表示（IR） · 计算图与算子融合的基本概念

深度学习编译器基…编译器工作原理

TVM核心架构

TVM的模块划分 · Relay IR · Tensor Expression（…

TVM核心架构

TVM调度与代码生成

调度原语（Schedule Prim… · 循环变换 · 向量化与内存布局优化

TVM自动调优

AutoTVM与Ansor的搜索策略 · 成本模型 · 硬件后端适配

TVM自动调优

TVM在大模型中的挑战

动态形状 · 稀疏注意力 · 长序列推理的编译优化难点

Triton编程模型

Triton语言基础 · 块级编程 · 指针算术与内存访问模式

Triton编程模型

Triton内核编写实战

实现向量加法 · 矩阵乘法 · Softmax等经典算子

Triton内核编写实战

Triton调度与优化

线程块配置 · 共享内存使用 · 循环展开与指令级并行

Triton与GPU架构映射

NVIDIA GPU的SM · Warp · 寄存器与内存层次结构

Triton自动调优

Triton Autotune机制 · 启发式搜索与性能基准测试

Triton自动调优

TVM与Triton对比

设计哲学 · 表达力 · 性能表现与适用场景的异同

大模型算子融合策略

FlashAttention · 融合GELU · 残差连接与LayerNorm的编译实…

大模型算子融合策…FlashAttenti…

内存管理 · 分页KV Cache · 量化与编译协同

量化编译优化

INT8/FP8量化 · 量化算子内核的TVM与Triton实…

量化编译优化INT8/FP8

稀疏化与剪枝编译

结构化稀疏 · 4稀疏模式 · 稀疏内核的编译支持

稀疏化剪枝编译

动态形状处理

动态维度 · 符号形状 · TVM与Triton的运行时形状适配

动态形状处理动态维度

多后端部署

CPU · GPU · NPU的编译目标

多后端部署CPU

端到端推理优化

模型加载 · 图优化 · 算子调度

端到端推理优化模型加载

用TVM优化推理

实战案例TVM

用Triton实现FlashAtte…

实战案例Triton

大模型推理框架（如vLLM）中的编译…

实战案例vLLM

性能分析工具

NVIDIA Nsight · Triton Profiler · TVM Profiler的使用与瓶颈…

性能分析工具NVIDIA

常见问题与调试

编译错误 · 性能回退 · 数值精度问题

常见问题调试

多卡并行 · 张量并行 · 流水线并行与编译器的协同设计

高级主题多卡并行

图编译与运行时调度

高级主题图编译

自定义算子与扩展 · 在Triton中扩展语言特性

高级主题自定义算子

从零构建一个大模型推理引擎 · 使用TVM与Triton混合优化

综合项目从零构建一个大模…

编译器与AI协同设计 · MLIR · CUTLASS

课程总结与进阶路径

知识体系回顾 · 推荐资源 · 开源社区参与与持续学习建议

课程总结进阶路径