VIP20
本课程属于：030-Edge AI硬件加速NPU调度 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

NPU多模型并发调度与优先级控制实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
NPU基础架构
NPU硬件组成 · 计算单元 · 内存层次
NPU基础架构
03
多模型并发场景
典型多模型推理场景（如多路视频分析 · 多任务服务）及并发需求分析
多模型并发场景典型多模型推理场…
04
调度器基础
调度器在NPU软件栈中的位置 · 作用 · 以及与操作系统调度的区别
调度器基础NPU
05
并发模型与执行模式
同步/异步 · 流水线并行 · 数据并行
并发模型执行模式
06
优先级控制概念
优先级定义 · 静态优先级与动态优先级 · 抢占式与非抢占式调度
优先级控制概念优先级定义
07
NPU资源管理
计算资源 · 内存带宽 · 缓存
NPU资源管理
08
多模型并发调度框架
主流NPU调度框架（如AscendC… · CUDA · TensorRT等）的调度策略对比
多模型并发调度框…NPU
09
任务队列与流管理
Stream · Event · 任务依赖关系
任务队列流管理
10
优先级映射策略
如何将模型业务优先级映射到NPU调度… · 以及映射原则
优先级映射策略NPU
11
调度算法详解
时间片轮转 · 加权公平队列 · 最早截止时间优先等算法在NPU上的适…
调度算法详解时间片轮转
12
优先级反转问题
优先级反转的产生原因 · 危害 · 以及优先级继承和优先级天花板协议
优先级反转问题优先级反转的产生…
13
多模型内存隔离
内存池管理 · 地址空间隔离 · 防止模型间内存干扰的技术
多模型内存隔离内存池管理
14
并发执行中的同步与通信
多模型间的同步机制 · 事件通知 · 锁与信号量在NPU上的实现
并发执行同步
15
性能分析工具
NPU Profiler · 性能计数器 · 调度延迟分析工具的使用方法
性能分析工具NPU
16
实战环境搭建
NPU开发环境 · SDK安装 · 模型转换工具链
实战环境搭建NPU
17
案例实战一
两个模型并发调度——实现两个不同优先… · 观察调度效果
案例实战一两个模型并发调度
18
案例实战二
多模型优先级控制——设计一个包含高 · 中 · 低优先级模型的场景
案例实战二多模型优先级控制
19
案例实战三
动态优先级调整——根据实时负载或业务… · 并验证效果
案例实战三动态优先级调整
20
案例实战四
优先级反转处理——模拟优先级反转场景 · 并实现优先级继承或天花板协议
案例实战四优先级反转处理
21
案例实战五
资源隔离与QoS保障——通过资源限制… · 保障高优先级模型的时延和吞吐
案例实战五QoS
22
调度策略调优
根据业务指标（时延 · 吞吐 · 资源利用率）调整调度参数和优先级策略
调度策略调优根据业务指标
23
常见问题与排查
并发调度中的死锁 · 饥饿 · 资源竞争
常见问题排查
24
多模型并发与单模型性能权衡
如何平衡并发带来的吞吐提升与单模型性…
多模型并发单模型性能权衡
25
与上层框架集成
将NPU调度能力集成到TensorF… · PyTorch等深度学习框架中
上层框架集成NPU
26
异构计算场景
CPU+NPU协同调度 · 多NPU卡间的负载均衡与优先级控制
异构计算场景CPU+NPU
27
安全与可靠性
调度器故障恢复 · 任务超时处理 · 优先级安全边界
安全可靠性
28
前沿趋势
NPU调度与AI芯片演进 · 可重构计算 · 自适应调度
前沿趋势NPU
29
综合实战项目
设计一个多模型并发调度系统 · 包含优先级控制 · 动态调整
综合实战项目设计一个多模型并…
30
课程总结与进阶路径
核心知识回顾 · 常见误区 · 推荐学习资源与后续研究方向
课程总结进阶路径