VIP20

本课程属于：029-推理并发调度 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

算子优化与显存协同调优实战

📚 共计 30 章节

算子优化概述

什么是算子 · 优化目标与意义 · 在深度学习框架中的位置

显存管理基础

GPU显存架构 · 分配与释放机制 · 碎片化问题

计算与访存分析

计算密集型 vs 访存密集型 · Roofline模型

CUDA编程基础回顾

线程层次 · 内存层次 · SM与warp调度

算子融合策略

Horizontal Fusion · Vertical Fusion · 收益分析

显存复用技术

in-place操作 · 内存池化 · tensor复用与生命周期

Kernel Launch优化

减少launch开销 · kernel合并 · stream与异步执行

共享内存优化

bank conflict避免 · 分配策略 · 动态共享内存

共享内存调优

寄存器优化

寄存器溢出处理 · 分配策略 · occupancy与性能权衡

寄存器occupancy

向量化加载与存储

向量化数据类型 · 对齐访问 · half2/float4技巧

向量化带宽

Warp级别原语

warp shuffle · warp reduce · warp matrix multiply

Tensor Core编程

WMMA API · mma指令 · tensor core在矩阵乘中的应用

Tensor Core矩阵乘

显存带宽优化

coalesced access · padding技术 · 数据布局转换

算子自动调优

AutoTVM · Ansor · Triton编译器原理简介

自动调优编译器

显存Profiling工具

nsys · ncu · py-spy · memory_profiler使用

Profiling显存

算子Profiling工具

nvprof · Nsight Compute · chrome trace

Profiling算子

显存泄漏检测

cuda-memcheck · valgrind · 自定义allocator hook

显存交换技术

CPU-GPU显存交换 · unified memory · pinned memory

梯度检查点

checkpointing原理 · trade-off分析 · PyTorch实现

梯度检查点

混合精度训练

FP16/BF16原理 · loss scaling · 显存节省分析

混合精度FP16

ZeRO-1/2/3原理 · 显存节省分析 · DeepSpeed实现

Flash Attention

原理 · 显存节省 · 计算加速 · 实现细节

Attention加速

算子库使用

cuBLAS · cuDNN · CUTLASS选型与调优

算子库cuBLAS

自定义算子开发

PyTorch C++ extension · CUDA extension · triton kernel

自定义Extension

显存与计算协同调度

overlap计算与通信 · pipeline parallelism

协同流水线

大模型显存优化

activation memory · parameter memory · optimizer memory

大模型显存

sequence parallelism · ring attention · 分布式显存管理

序列并行分布式

算子与显存联合Profiling

全链路trace分析 · 瓶颈定位方法

联合分析trace

端到端调优案例

BERT训练调优 · LLM推理调优 · stable diffusion调优

CXL互联 · 近存计算 · 存算一体架构展望