VIP20

本课程属于：030-华为昇腾Atlas硬件与CANN开发实战 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NPU内存管理与资源调度

📚 共计 30 章节

NPU架构概述

NPU发展历程、NPU与GPU/CPU的对比、NPU在AI推理中的核心地位。

NPU内存层次结构

片上SRAM、全局内存、DDR带宽、HBM在NPU中的应用。

内存分配策略

静态分配与动态分配、内存池管理、伙伴系统在NPU中的适配。

分配伙伴系统

数据搬运与DMA

DMA引擎原理、Scatter/Gather操作、双缓冲机制。

张量内存布局

NHWC与NCHW格式、内存对齐、Stride与Padding的影响。

内存复用技术

In-Place计算、内存共享、Tensor内存生命周期管理。

复用生命周期

算子调度基础

算子依赖图、拓扑排序、流水线并行基础。

调度依赖图

静态调度策略

基于关键路径的调度、列表调度算法、启发式搜索。

静态关键路径

动态调度策略

Work Stealing、任务窃取、负载均衡在NPU上的实现。

动态负载均衡

多核NPU调度

核间通信、同步原语、分布式内存管理。

内存带宽优化

数据复用、Cache命中率优化、预取策略。

计算与访存重叠

Double Buffering、Prefetching、异步执行模型。

模型编译优化

图优化、算子融合、内存规划。

量化与内存压缩

INT8/INT4量化、权重压缩、稀疏化存储。

虚拟内存与地址映射

IOMMU/SMMU、页表管理、大页支持。

虚拟内存页表

内存碎片管理

内部碎片与外部碎片、碎片整理算法、内存规整。

资源隔离与QoS

多任务隔离、带宽保障、优先级调度。

功耗感知调度

DVFS、功耗墙、温度感知的任务分配。

实时性保障

硬实时与软实时、WCET分析、截止时间驱动调度。

故障恢复与容错

ECC内存、错误重算、Checkpoint机制。

容错Checkpoint

异构计算调度

CPU+NPU协同、任务卸载、异构内存访问。

内存一致性模型

弱一致性、Release Consistency、Fence指令。

Cache一致性协议

MESI协议、Snooping与Directory、NPU中的实现。

编译器内存优化

自动向量化、循环分块、数据布局变换。

编译器向量化

运行时内存管理

内存池实现、懒分配、内存回收策略。

运行时内存池

Profiling与性能分析

性能计数器、Trace分析、瓶颈定位。

Profiling性能

典型模型案例分析

ResNet-50内存调度、Transformer注意力机制优化。

大模型内存挑战

模型并行、流水线并行、张量并行、ZeRO优化。

大模型并行

NPU驱动与固件

驱动架构、命令队列、中断处理。

存算一体、近存计算、Chiplet架构下的内存调度。

趋势存算一体