VIP20

本课程属于：001-GPU集群训练 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

算子执行效率提升实战

📚 共计 30 章节

算子性能全景概览

什么是算子、延迟/吞吐量/算力利用率、关键因素：计算·访存·调度

硬件架构基础

CPU与GPU差异、L1/L2 Cache·HBM·DDR、线程调度模型

性能分析工具入门

Linux perf、Nsight Systems、VTune Profiler 热点定位

perfNsightVTune

算法优化策略

降复杂度、算子融合(Kernel Fusion)、循环展开与分块(Tiling)

算法融合Tiling

访存优化技巧

数据局部性、连续访问、对齐合并、共享内存/缓存

访存Cache共享内存

并行计算基础

数据并行·任务并行·流水线并行、SIMD/SIMT指令集

并行SIMD流水线

编译器优化原理

-O2/-O3、自动向量化、内联与常量折叠

编译器向量化

手写汇编优化

x86 SSE/AVX、ARM NEON、内联汇编实战

线程块配置、共享内存、Bank Conflict、Warp调度

GPU Tensor Core利用

混合精度(FP16/BF16)、Tensor Core编程、cuBLAS/cuDNN

Tensor Core混合精度

算子库使用与定制

cuDNN·cuBLAS·MKL·oneDNN选型对比、自定义封装

内存池与内存管理

自定义分配器、内存复用、减少碎片

内存池分配器

异步执行与流处理

CUDA Stream、异步拷贝、重叠计算与传输

异步Stream重叠

算子融合实战

Conv+BatchNorm、GELU+Add、多层循环融合

量化与低精度计算

INT8/INT4量化原理、量化感知训练、推理加速

量化INT8推理

稀疏化计算

权重剪枝、结构化稀疏、稀疏矩阵乘法优化

稀疏剪枝SpMM

图优化与计算图调度

常量折叠、死代码消除、算子调度顺序优化

计算图调度

JIT编译与动态调优

TVM·XLA·Triton框架原理与使用

自动调优 (Auto-tuning)

OpenTuner·Ansor·AutoTVM 调优策略

自动调优Ansor

多核CPU优化

OpenMP多线程、NUMA感知、CPU亲和性

OpenMPNUMA亲和性

分布式算子优化

AllReduce·AllGather集合通信、Ring/Tree算法

分布式AllReduce

I/O与数据加载优化

数据预取、多线程加载、内存映射、压缩

性能基准测试

Benchmark设计、微基准/端到端、统计分析

Benchmark统计

性能回归与监控

持续测试、回归告警、火焰图分析

监控火焰图

特定领域优化 (CV)

卷积优化(Winograd/FFT)、图像预处理加速

特定领域优化 (NLP)

Attention优化、FlashAttention、KV Cache

NLPAttentionFlash

特定领域优化 (推荐系统)

Embedding优化、特征交互加速、大规模稀疏模型

推荐Embedding稀疏

移动端与边缘端优化

ARM CPU优化、NPU/DSP利用、模型压缩剪枝

移动端ARMNPU

性能优化案例分析

ResNet-50、BERT推理、推荐模型优化全流程

案例ResNetBERT

未来趋势与前沿

Chiplet、存算一体、光计算、量子计算影响

前沿Chiplet量子