所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。

← 返回上一级

← 返回所属目录咨询 / 购买

Triton高性能GPU算子开发

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · Triton在GPU编程生态中的定位…

课程导入学习目标

GPU计算基础

GPU架构 · 线程层次 · 内存层次

GPU计算基础

Triton快速上手

环境搭建 · 第一个Triton内核 · 编译与执行流程

Triton快速上手

Triton语言核心语法

tensor操作 · 指针 · 块级编程

Triton语言核心语法

Triton编程模型

程序实例 · 网格与块 · 并行执行模型

Triton编程模型

内存访问优化

全局内存 · 共享内存 · 缓存

内存访问优化全局内存

Triton中的Tile与Block

tile划分策略 · 块大小选择 · 多维tile操作与布局

算子开发流程

从算法分析 · kernel设计 · 实现

算子开发流程从算法分析

向量加法算子实战

实现向量加法 · 处理边界条件 · 性能对比与优化

向量加法算子实战实现向量加法

矩阵乘法算子实战

实现GEMM · tile化 · 共享内存使用

矩阵乘法算子实战GEMM

归约算子实战

实现sum · max · min等归约

归约算子实战sum

卷积算子实战

实现直接卷积 · im2col · tile化

卷积算子实战实现直接卷积

Softmax算子实战

实现数值稳定softmax · 行级并行 · 性能优化

Softmax算子实战

LayerNorm与BatchNorm算子实战

实现归一化算子 · 统计量计算 · 融合优化

LayerNormBatchNorm

激活函数与逐元素算子实战

实现ReLU · GELU · Sigmoid等

激活函数逐元素算子实战

Transformer注意力算子实战

实现FlashAttention风格 · 分块计算 · 内存优化

Transformer注意力算子实战

高性能矩阵乘法进阶

使用Triton实现SGEMM · DGEMM · 混合精度

高性能矩阵乘法进…Triton

稀疏算子开发

稀疏矩阵表示 · 稀疏乘法 · 稀疏注意力

稀疏算子开发稀疏矩阵表示

融合算子开发

将多个操作融合为一个kernel · 减少内存访问 · 案例：融合bias+激活

融合算子开发kernel

Triton性能分析工具

使用profiler · 性能计数器 · 瓶颈识别与优化策略

Triton性能分析工具

Triton与PyTorch集成

编写自定义autograd.Func… · 在模型中使用Triton算子

Triton与CUDA对比

编程模型差异 · 性能差异 · 适用场景

Triton高级特性

原子操作 · 异步拷贝 · 多流

Triton高级特性

常见错误与调试

编译错误 · 运行时错误 · 数值错误

常见错误调试

性能优化通用策略

内存带宽优化 · 计算优化 · 并行度优化

性能优化通用策略内存带宽优化

自动调优与搜索

Triton中的autotune机制 · 启发式搜索 · 性能模型

自动调优搜索

多GPU与分布式算子

多设备编程 · 通信原语 · 数据并行与模型并行中的算子

GPU分布式算子

综合实战项目一

实现高性能自定义激活函数库并集成到深…

综合实战项目一实现高性能自定义…

综合实战项目二

实现一个完整的Transformer… · FFN · LayerNorm）

综合实战项目二Transformer

课程总结与进阶路径

知识体系回顾 · 常见问题解答 · 学习资源

课程总结进阶路径