VIP8

本课程属于：039-昇腾Atlas与CANN开发工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

昇腾硬件调优性能提升策略

📚 共计 30 章节

昇腾AI处理器架构概览

了解昇腾芯片的硬件组成，包括AI Core、AI CPU、DVPP等模块的功能与协同工作原理。

昇腾软件栈全景解析

从CANN算子层、框架适配层到应用层，梳理完整的软件栈层次结构。

算子开发基础

掌握TBE（Tensor Boost Engine）算子开发的基本流程与DSL语法。

算子性能分析工具

学会使用msprof、msadvisor等工具进行算子级性能瓶颈定位。

工具性能分析

算子融合策略

理解算子融合的原理，掌握如何通过融合减少访存开销与kernel launch开销。

数据搬运与DMA优化

深入理解DDR到L1/L0 Buffer的数据搬运机制，优化数据复用率。

DMA数据搬运

流水线并行与double buffer技术

利用double buffer隐藏数据搬运延迟，提升计算单元利用率。

流水线Double Buffer

AI Core的向量化计算优化

掌握向量化指令的使用技巧，避免标量计算瓶颈。

向量化AI Core

L1 Buffer与Local Memory的优化使用

合理分配片上存储，减少对DDR的频繁访问。

存储L1 Buffer

多核并行与任务切分策略

学习如何将计算任务均匀切分到多个AI Core，避免负载不均。

并行任务切分

昇腾通信算子优化

针对AllReduce、AllGather等集合通信算子进行带宽与延迟优化。

通信集合通信

模型推理场景下的性能调优

针对静态shape与动态shape场景，优化推理引擎的调度策略。

模型训练场景下的性能调优

分析训练过程中的前向/反向计算耗时，优化梯度同步与参数更新。

训练梯度同步

混合精度训练与优化

利用昇腾的FP16/BF16支持，在保证精度的前提下提升训练吞吐。

混合精度FP16

内存复用与显存优化

通过内存池、显存复用等技术降低模型对HBM的占用。

内存显存优化

图编译与图优化技术

理解GE（Graph Engine）的图优化策略，包括常量折叠、死代码消除等。

AOE自动调优

使用AOE工具自动搜索最优的算子实现与调度参数。

自动调优AOE

Profiling数据深度分析

解读msprof生成的timeline数据，定位端到端性能瓶颈。

Profilingmsprof

DVPP图像预处理加速

利用数字视觉预处理模块加速图像缩放、裁剪、色域转换等操作。

DVPP图像处理

昇腾驱动与固件优化

调整驱动参数（如中断亲和性、NUMA绑定）提升系统级性能。

算子精度与性能的平衡

在算子开发中如何权衡计算精度与执行效率。

精度性能平衡

动态shape场景下的性能挑战

分析动态shape对算子编译与内存分配的影响及优化方案。

动态shape编译

昇腾集群训练性能调优

针对多机多卡场景，优化通信拓扑与梯度压缩策略。

集群通信拓扑

模型量化与压缩

利用昇腾的INT8量化工具，在推理场景下实现模型瘦身与加速。

算子手工汇编优化

针对极致性能场景，使用Ascend C语言进行手工汇编级调优。

昇腾与PyTorch/TensorFlow的适配优化

调整框架侧的算子选择与内存管理策略。

框架适配PyTorch

性能基准测试与回归

建立标准化的性能测试流程，防止优化引入性能退化。

基准测试回归

昇腾容器化部署性能优化

在Docker/K8s环境中配置昇腾设备插件与资源隔离。

典型模型（ResNet-50、BERT）的全流程调优案例

从数据加载到推理输出，完整走一遍调优流程。

案例ResNet-50

昇腾性能调优的未来趋势

探讨Chiplet架构、3D堆叠、存算一体等新技术对调优的影响。