VIP20

本课程属于：009-算子融合 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

内存带宽不足时的融合策略实战

📚 共计 30 章节

01

内存带宽瓶颈的本质：为什么算子融合能救命？

理解带宽墙与计算强度，融合如何突破存储壁垒

核心概念带宽

02

融合策略全景图：从计算图到硬件映射的桥梁

俯瞰融合分类与硬件映射，建立系统思维

03

算子融合的数学基础：访存次数与计算强度的关系

Roofline模型与算术强度推导

04

水平融合：将多个相同形状的算子合并执行

并行合并同构算子，提升吞吐

05

垂直融合：将前后依赖的算子合并为一个内核

消除中间读写，降低延迟

06

混合融合：水平与垂直融合的组合拳

灵活组合应对复杂计算图

07

跨层融合：跳过中间激活存储的极致优化

跨越多层，减少全局访存

08

动态形状下的融合挑战：变长序列怎么办？

动态shape与padding处理

09

融合策略的自动搜索：基于代价模型的编译器方法

TVM/Ansor自动调优

自动编译器

10

手工融合 vs 自动融合：什么时候该手写内核？

权衡开发效率与极致性能

11

融合中的寄存器压力管理：别让寄存器成为新瓶颈

寄存器溢出与 occupancy 平衡

寄存器压力

12

共享内存与缓存感知的融合策略

利用shared memory / cache层级

共享内存缓存

13

融合后的线程束发散问题：如何保持SIMT效率？

避免分支发散，保持向量化

14

融合算子的数值精度：FP16与BF16下的误差累积

混合精度融合的陷阱

15

融合策略在Transformer中的应用：FlashAttention的启示

Attention融合与IO感知

TransformerFlashAttention

16

融合策略在卷积网络中的应用：Implicit GEMM

卷积融合与im2col优化

卷积Implicit GEMM

17

融合策略在推荐系统中的应用：稀疏特征聚合

Embedding融合与带宽节省

18

融合策略在GNN中的应用：消息传递的融合

图聚合与特征融合

GNN消息传递

19

融合策略在LSTM/RNN中的应用：时间步展开的融合

循环体融合与序列优化

20

融合策略在MoE模型中的应用：专家路由的带宽优化

稀疏门控与专家融合

21

融合策略在多模态模型中的应用：跨模态对齐的融合

多模态特征融合与对齐

多模态对齐

22

融合策略在推理引擎中的应用：TensorRT的融合实践

TensorRT plugin与图融合

23

融合策略在训练框架中的应用：PyTorch的Fusion Pass

TorchScript / Dynamo 融合

24

融合策略的Profiling工具：如何定位带宽瓶颈？

Nsight / nvprof 分析

Profiling工具

25

融合策略的调试技巧：当融合后结果不对时怎么办？

数值校验与逐算子对比

调试正确性

26

融合策略的硬件适配：针对不同GPU架构的调优

Ampere / Hopper 特性适配

27

融合策略的量化感知：QAT与PTQ中的融合注意事项

量化融合与精度损失

28

融合策略的分布式扩展：跨设备融合的通信优化

多GPU / 多节点融合通信

分布式通信

29

融合策略的未来趋势：可微分搜索与硬件协同设计

NAS / 可微分融合

未来协同设计

30

综合实战：为一个真实模型设计完整的融合方案

端到端融合案例与性能调优