VIP20
本课程属于：030-Edge AI硬件加速NPU调度 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

NPU推理流水线buffer复用与上下文切换优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
NPU推理基础
NPU架构 · 推理流水线阶段（预处理 · 推理
NPU推理基础
03
Buffer管理基础
内存层次 · buffer类型（输入 · 输出
Buffer管理基础
04
Buffer复用原理
复用策略 · 内存池设计 · 避免拷贝
Buffer复用原理
05
Buffer复用方法
静态复用 · 动态复用 · 环形缓冲
Buffer复用方法
06
Buffer复用实现
基于C++/Python的buffe… · 内存对齐 · 内存分配器选择
Buffer复用实现
07
上下文切换概念
NPU上下文 · 任务切换 · 硬件上下文与软件上下文
上下文切换概念NPU
08
上下文切换开销分析
切换成本 · 性能影响 · 切换频率与延迟
上下文切换开销分…切换成本
09
上下文切换优化策略
减少切换 · 批量处理 · 异步切换
上下文切换优化策…减少切换
10
流水线并行与buffer复用
多级流水线 · 阶段间buffer共享 · 同步与异步
buffer流水线并行
11
案例实战
基于TensorRT/ONNX Ru…
案例实战TensorRT/ONN…
12
案例实战
基于Ascend/寒武纪等NPU的上…
案例实战Ascend
13
性能分析工具
使用profiler · trace · benchmark工具定位buffe…
性能分析工具profiler
14
常见问题与调优
内存碎片 · 缓存未命中 · 切换风暴
常见问题调优
15
综合项目
设计一个高吞吐NPU推理服务 · 综合运用buffer复用与上下文切换…
综合项目NPU
16
进阶
多模型并发 · 多卡协同 · 动态shape下的buffer复用
进阶多模型并发
17
进阶
图优化与算子融合对buffer复用和…
进阶buffer
18
进阶
量化与稀疏化场景下的buffer管理
进阶buffer
19
进阶
实时推理与低延迟场景的优化权衡
进阶实时推理
20
进阶
异构计算（CPU+NPU）中的buf…
进阶CPU+NPU
21
进阶
安全与可靠性：buffer越界 · 上下文泄漏 · 错误恢复
进阶buffer
22
进阶
自动调优与机器学习驱动的buffer…
进阶buffer
23
进阶
云原生与容器化环境下的NPU资源管理
进阶NPU
24
进阶
边缘设备上的内存受限优化
进阶边缘设备上的内存…
25
进阶
与推理框架（如vLLM · Triton）的集成
进阶vLLM
26
进阶
性能建模与理论分析（roofline… · 延迟隐藏）
进阶roofline
27
进阶
案例复盘：业界大厂（如NVIDIA · 华为）的优化实践
进阶NVIDIA
28
进阶
实验设计
进阶实验设计
29
进阶
代码优化技巧：SIMD · 缓存友好 · 锁-free数据结构
进阶SIMD
30
课程总结
知识体系回顾 · 最佳实践 · 未来趋势与学习路径
课程总结知识体系回顾