VIP20

本课程属于：019-吞吐分析 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

算子优化从入门到精通

📚 共计 30 章节

算子优化概述

什么是算子 · 算子优化的意义 · 常见优化目标（性能、内存、精度） · 学习路径概览

计算机体系结构基础

CPU/GPU/NPU架构差异 · 存储层次（L1/L2 Cache、HBM、DDR） · 计算单元（SIMD、Tensor Core）

性能分析工具入门

Linux perf · NVIDIA Nsight Systems · Intel VTune · PyTorch Profiler

工具profiling

算法复杂度分析

时间/空间复杂度 · 访存密集型 vs 计算密集型 · Roofline模型入门

循环优化基础

循环展开（Loop Unrolling） · 循环分块（Loop Tiling） · 循环交换（Loop Interchange）

内存访问优化

连续内存访问 · 缓存行利用 · 数据对齐 · 预取指令（Prefetch）

向量化编程

SIMD指令集（SSE/AVX/NEON） · 自动向量化 · 手写向量化代码

并行计算基础

OpenMP多线程编程 · 任务并行与数据并行 · 负载均衡

多线程OpenMP

GPU编程入门

CUDA编程模型 · 线程层次结构（Grid/Block/Thread） · 内存层次结构（Global/Shared/Local）

GPU内存优化

全局内存合并访问 · 共享内存使用 · Bank Conflict避免 · 常量内存与纹理内存

GPUShared Memory

GPU算子优化实战

矩阵乘法（GEMM）优化 · 从Naive到Tiled实现 · 使用Tensor Core

GEMMTensor Core

卷积算子优化

im2col算法 · Winograd算法 · 直接卷积优化 · 内存布局（NHWC vs NCHW）

算子融合技术

什么是算子融合 · 常见融合模式（Conv+BN+ReLU） · 手工融合与编译器融合

融合编译器

编译器基础

LLVM/MLIR简介 · TVM/Triton/XLA框架概览 · 计算图优化

Relay IR · AutoTVM与Ansor · Schedule原语

Triton语言基础 · Block-Level编程 · 与CUDA对比

量化算子优化

INT8/INT4量化原理 · 量化算子实现 · 混合精度推理

稀疏算子优化

稀疏矩阵存储格式（CSR/CSC/COO） · 稀疏矩阵乘法 · 结构化稀疏

Attention算子优化

FlashAttention原理 · 分块Softmax · KV Cache优化

Reduce算子优化

Warp Reduce · Block Reduce · 原子操作优化

Softmax算子优化

数值稳定性 · Online Softmax · 融合实现

LayerNorm/BatchNorm优化

融合实现 · 半精度优化 · 反向传播优化

归一化LayerNorm

激活函数优化

ReLU/Sigmoid/Tanh/GELU快速实现 · 查表法 · 近似计算

内存池与内存复用

自定义分配器 · 内存池设计 · 显存碎片管理

内存池显存

算子性能调优方法论

Profiling-Driven优化 · 瓶颈分析 · 迭代优化流程

方法论调优

自动化调优工具

AutoTVM · Ansor · AutoSchedule · OpenTuner

自动调优搜索

算子测试与验证

数值精度测试 · 性能回归测试 · 边界条件测试

算子部署与集成

ONNX导出 · TensorRT部署 · 自定义算子注册

前沿算子优化技术

FlashAttention-2 · PagedAttention · Speculative Decoding

综合实战项目

从零优化一个Transformer推理算子（含Attention+FFN+LayerNorm）

实战Transformer