VIP20

本课程属于：013-GPU调度 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA算子融合实战技巧

📚 共计 30 章节

CUDA编程模型回顾

GPU架构概览 · 线程层次结构 · 内存层次结构 · CUDA程序编译流程

算子融合基础概念

什么是算子融合 · 为什么需要融合 · 收益分析 · 挑战

Element-wise算子融合

逐元素融合策略 · 内存带宽优化 · 实战：GELU+Add+LayerNorm

逐元素实战

Reduce算子融合

归约融合策略 · Warp Shuffle · 实战：Softmax+Dropout

MatMul与Pointwise融合

计算访存重叠 · Epilogue融合 · 实战：Linear+ReLU+Bias

Convolution与激活函数融合

Implicit GEMM · Winograd融合 · 实战：Conv2D+BatchNorm+ReLU

Attention机制中的算子融合

FlashAttention原理 · Online Softmax · 实战：QKV+Score+Softmax

LayerNorm与Residual融合

LayerNorm模式 · Residual Add融合 · 实战：Pre-LN Transformer Block

LayerNormResidual

Multi-Head Attention融合

MHA计算图 · KV Cache融合 · 实战：GQA/MQA融合优化

Gated MLP · SwiGLU激活融合 · 实战：FFN+Dropout+Residual

Cross-Attention融合

Encoder-Decoder注意力 · Cross-Attention差异 · 实战：Cross-Attention融合

RoPE位置编码融合

旋转位置编码原理 · RoPE与QK乘法融合 · 实战：RoPE+QK融合

RoPE位置编码

FlashAttention-2与3

V2改进点 · V3异步特性 · 实战：基于FlashAttention完整融合

PageAttention与vLLM

Paged KV Cache · vLLM推理框架 · 实战：PageAttention+Prefill融合

Continuous Batching与融合

动态批处理 · Inflight Batching · 实战：Continuous Batching融合

批处理动态

Speculative Decoding融合

推测解码流程 · Draft/Target模型融合 · 实战：推测解码加速

量化算子融合

INT8/FP8量化 · 量化感知训练 · 实战：量化MatMul+Dequantize

稀疏算子融合

结构化稀疏 · 2:4稀疏模式 · 实战：Sparse MatMul+Gather

MoE架构中的算子融合

MoE路由 · Expert并行 · 实战：Gating+TopK+Expert融合

Triton编程与算子融合

Triton语言基础 · Kernel编写 · 实战：用Triton实现GELU+Add

CUTLASS库与算子融合

CUTLASS架构 · Epilogue机制 · 实战：Linear+ReLU融合

CUTLASSEpilogue

TensorRT与算子融合

TensorRT优化流程 · Plugin编写 · 实战：自定义Plugin融合

XLA与JIT编译融合

XLA编译原理 · HLO优化 · 实战：通过XLA自动融合

TVM与Ansor自动融合

TVM调度 · Ansor自动搜索 · 实战：AutoTVM搜索融合策略

CUDA Graph与融合

CUDA Graph原理 · Graph Capture · 实战：融合算子封装为Graph

CUDA Graph捕获

多GPU与算子融合

NCCL通信 · Model Parallelism · 实战：Pipeline Parallelism融合

融合算子的Profiling与调优

NVIDIA Nsight · Roofline模型 · 实战：分析性能瓶颈

ProfilingNsight

融合算子的数值精度

FP16/BF16精度 · 混合精度训练 · 实战：融合算子精度控制

精度混合精度

融合算子的工程化部署

ONNX导出 · TensorRT部署 · 实战：融合模型生产部署

前沿趋势与未来展望

动态编译 · 硬件协同设计 · 实战：设计面向未来的融合框架