VIP9
本课程属于：058-YOLO边缘部署、NPU与实时推理 AI智能与边缘计算工程 · 共 9 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

NPU推理下的YOLO内存管理策略

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
NPU内存架构概览
NPU与CPU内存系统的差异 · NPU内部SRAM与外部DDR的分工 · 内存带宽对YOLO推理的影响
NPU内存架构概览
02
YOLO模型内存足迹分析
权重参数的内存占用 · 特征图的内存占用 · 中间计算结果的内存占用
YOLO模型内存足迹分析
03
静态内存分配策略
编译时确定内存布局 · 固定地址映射 · 优缺点分析
静态内存分配策略编译时确定内存布…
04
动态内存分配策略
运行时按需分配 · 内存池管理 · 碎片化问题与对策
动态内存分配策略运行时按需分配
05
内存复用技术
特征图生命周期分析 · 原地操作（in-place）优化 · 内存共享池设计
内存复用技术特征图生命周期分…
06
双缓冲机制
输入缓冲与输出缓冲的乒乓操作 · DMA与NPU计算流水线 · 隐藏数据传输延迟
双缓冲机制输入缓冲
07
权重压缩与量化
INT8/INT4量化对内存的影响 · 权重稀疏化存储 · 运行时解压缩开销
权重压缩量化
08
特征图压缩
Activation压缩技术 · 混合精度推理的内存收益 · 精度与内存的权衡
特征图压缩Activation
09
内存对齐与访问模式
NPU对内存对齐的要求 · 连续访问与跨步访问 · 缓存行利用优化
内存对齐访问模式
10
DMA传输优化
批量传输与聚合传输 · Scatter-Gather DMA · 传输粒度对性能的影响
DMA传输优化
11
内存带宽瓶颈分析
YOLO各层对带宽的需求 · 带宽利用率计算 · 常见瓶颈定位方法
内存带宽瓶颈分析YOLO
12
模型分片与内存卸载
将部分层卸载到CPU · 异构计算的内存一致性 · 同步开销控制
模型分片内存卸载
13
内存碎片整理
外部碎片与内部碎片 · 紧凑算法 · 碎片整理触发时机
内存碎片整理外部碎片
14
虚拟内存与地址映射
NPU的MMU设计 · 页表管理 · TLB缺失对性能的影响
虚拟内存地址映射
15
缓存一致性协议
NPU与CPU共享内存时的缓存同步 · MESI协议变体 · 软件维护一致性
缓存一致性协议NPU
16
内存安全与保护
越界访问检测 · 内存保护单元（MPU） · 错误纠正码（ECC）
内存安全保护
17
多模型并发推理的内存管理
模型切换时的内存清理 · 共享内存区域设计 · 优先级调度
多模型并发推理的…模型切换时的内存…
18
内存性能剖析工具
NPU厂商提供的Profiler · 内存带宽监测 · 内存泄漏检测
内存性能剖析工具NPU
19
YOLO特定层的内存优化
Focus层 · CSP层 · SPP层
YOLO特定层的内存优化
20
批处理推理的内存策略
Batch Size对内存的影响 · 动态Batch · 内存与吞吐量的权衡
批处理推理的内存…Batch
21
内存分配器设计
固定大小分配器 · 伙伴系统 · Slab分配器在NPU中的应用
内存分配器设计固定大小分配器
22
零拷贝技术
避免数据在CPU与NPU间拷贝 · 共享内存映射 · 用户态直接访问
零拷贝技术CPU
23
内存预取与预加载
基于YOLO推理流程的预取策略 · 预取距离设置 · 预取失败处理
内存预取预加载
24
电源管理对内存的影响
DVFS对内存延迟的影响 · 低功耗模式下的内存策略 · 温度感知调度
电源管理对内存的…DVFS
25
实时性约束下的内存管理
硬实时与软实时 · 最坏情况内存分析 · 确定性内存分配
实时性约束下的内…硬实时
26
内存错误处理
软错误与硬错误 · 错误检测与恢复 · 容错内存设计
内存错误处理软错误
27
多核NPU的内存共享
共享内存的同步原语 · 内存分区策略 · 核间通信开销
NPU多核
28
内存生命周期管理
从模型加载到推理完成的内存状态机 · 引用计数 · 垃圾回收
内存生命周期管理从模型加载到推理…
29
案例研究
在端侧NPU上部署YOLOv8的内存… · 常见问题与解决方案
案例研究NPU
30
未来趋势
存内计算 · 近存计算 · 3D堆叠内存对YOLO推理的影响
未来趋势存内计算