01
NPU集群概述
NPU架构演进 · 集群拓扑 · 编译优化重要性
架构拓扑
02
编译基础
前端 · IR · 后端优化 · LLVM/MLIR
IRLLVM
03
数据流分析
CFG · 数据依赖 · 别名 · 指针分析
静态分析
04
循环优化技术
展开 · 分块 · 交换 · 融合与分布
循环分块
05
内存层次优化
缓存感知 · 数据布局 · 预取 · DMA
内存DMA
06
并行化策略
数据并行 · 模型并行 · 流水线 · 张量并行
并行分布式
07
算子融合
内核融合 · 模式识别 · 自动融合框架
融合算子
08
图优化技术
计算图优化 · 常量折叠 · DCE · CSE
图优化折叠
09
自动微分
前向/反向模式 · 梯度优化 · 混合精度
自动微分梯度
10
通信优化
AllReduce · 拓扑感知 · 梯度压缩 · 异步
通信AllReduce
11
调度策略
静态/动态调度 · 依赖驱动 · 异构调度
调度依赖
12
内存管理
内存池化 · 复用 · 显存交换 · 碎片整理
内存池化
13
编译时间优化
增量编译 · 缓存 · 并行编译 · 预编译头
编译速度
14
性能分析工具
Profiling · 性能计数器 · 瓶颈分析 · 可视化
Profiling工具
15
自动调优
贝叶斯优化 · 强化学习 · 遗传算法 · 经验库
自动调优ML
16
模型量化
权重量化 · 激活量化 · 混合精度 · QAT
量化精度
17
稀疏化技术
结构化/非结构化稀疏 · 剪枝 · 稀疏矩阵
稀疏剪枝
18
分布式训练优化
数据/模型并行 · ZeRO · FSDP
分布式ZeRO
19
流水线优化
微批次 · 1F1B · 交错调度 · 负载均衡
流水线1F1B
20
张量布局优化
数据布局变换 · 转置 · 内存对齐 · 向量化
布局向量化
21
编译指令集优化
SIMD · VLIW · 指令流水线 · 寄存器分配
SIMDVLIW
22
多卡通信拓扑
Ring · Tree · Hierarchical · 拓扑感知编译
拓扑通信
23
动态形状处理
动态形状编译 · 形状推断 · 动态内存 · 重编译
动态形状
24
编译错误处理
错误定位 · 恢复 · 降级 · 调试信息
错误处理
25
安全编译
内存安全 · 边界检查 · 类型安全 · 侧信道
安全防护
26
跨平台编译
异构设备 · 代码生成 · 设备抽象 · 运行时
跨平台异构
27
编译缓存与复用
缓存策略 · 命中优化 · 分布式缓存 · 失效
缓存复用
28
大规模集群编译
分布式编译 · 任务调度 · 资源管理 · 监控
集群大规模
29
编译优化案例
BERT · GPT · ResNet · ViT 优化
案例模型
30
前沿趋势
可微分编译 · AI辅助 · 量子编译 · CaaS
前沿趋势