VIP20
本课程属于:009-算子融合 AI算力与GPU工程 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

NPU算子融合与缓存命中优化实战

📚 共计 30 章节
第1章
NPU架构基础
NPU与CPU/GPU的区别 · 存储层次 · 计算单元与数据流
架构入门
第2章
算子融合原理
定义与动机 · 数学基础 · Conv+BN+ReLU模式
融合核心
第3章
缓存层次结构
L1/L2/L3 · 缓存行与组 · LRU/LFU策略
存储硬件
第4章
缓存命中与失效
命中率计算 · 容量/冲突/强制失效 · 污染问题
性能分析
第5章
数据局部性原理
时间局部性 · 空间局部性 · 局部性优化算子
优化原理
第6章
算子融合策略
水平/垂直融合 · 粒度控制 · 缓存影响
融合策略
第7章
内存访问模式优化
连续/随机访问 · 步长影响 · 对齐与填充
访存优化
第8章
循环分块 (Tiling)
基本思想 · 分块大小选择 · 缓存层次匹配
循环分块
第9章
数据复用分析
输入特征图复用 · 权重复用 · 输出复用
复用数据流
第10章
卷积算子融合优化
Im2Col+GEMM融合 · Winograd融合策略
卷积加速
第11章
Batch Normalization融合
BN融合数学推导 · 计算量减少分析
BN融合
第12章
激活函数融合
ReLU/Sigmoid融合 · 精度影响分析
激活融合
第13章
Element-wise算子融合
Add/Mul融合 · 广播机制缓存影响
逐元素融合
第14章
Reshape与Transpose优化
数据重排影响 · 避免内存拷贝
重排优化
第15章
算子调度顺序优化
计算顺序影响 · 贪心/动态规划调度
调度缓存
第16章
多级缓存感知算子设计
L1/L2/L3缓存优化技巧
缓存感知
第17章
预取技术
硬件/软件预取 · 预取距离 · 开销收益
预取带宽
第18章
数据布局优化
NHWC/NCHW · 分块布局 · Z-order曲线
布局格式
第19章
张量内存分配策略
内存池化 · 对齐 · 碎片管理
内存分配
第20章
算子融合编译器实现
TVM · XLA · MLIR融合框架
编译器TVM
第21章
自动融合搜索
规则/机器学习搜索 · 代价模型
自动搜索
第22章
融合后数值精度问题
精度损失 · 混合精度 · 误差分析
精度混合
第23章
多核并行与缓存一致性
共享缓存 · 一致性协议 · 伪共享
并行一致性
第24章
量化算子融合优化
INT8融合 · 量化反量化消除
量化INT8
第25章
注意力机制算子融合
Self-Attention融合 · FlashAttention缓存
注意力Transformer
第26章
Transformer模型算子融合
FFN层融合 · LayerNorm融合
TransformerFFN
第27章
图算融合 (Graph Fusion)
计算图优化 · 子图划分 · 控制/数据流融合
图融合子图
第28章
缓存命中率分析工具
性能计数器 · Nsight/VTune · 火焰图
Profiling工具
第29章
实际案例:ResNet/YOLO/BERT
ResNet50融合 · YOLOv5缓存 · BERT加速
案例实战
第30章
前沿趋势与挑战
存算一体 · 近存计算 · 稀疏/动态形状融合
前沿挑战