所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

NPU驱动与推理引擎配置实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · NPU与推理引擎的定位与关系
课程导入学习目标
02
NPU基础概念
什么是NPU · 与GPU/CPU的差异 · 典型NPU架构与算力指标
NPU基础概念
03
主流NPU平台概览
华为昇腾 · 寒武纪 · 英伟达Jetson等平台的特点与适用…
NPU主流
04
驱动与固件基础
驱动的作用 · 固件与驱动的区别 · 驱动版本与硬件兼容性
驱动固件基础
05
环境准备
操作系统要求 · 依赖工具链（gcc · make
环境准备操作系统要求
06
驱动安装方法
源码编译 · 包管理器安装 · 厂商工具安装（如Ascend-can…
驱动安装方法源码编译
07
驱动验证与故障排查
如何确认驱动安装成功 · 常见安装错误（如依赖缺失 · 权限问题）及解决方法
驱动验证故障排查
08
推理引擎概述
推理引擎的定义 · 主流推理引擎（TensorRT · ONNX Runtime
推理引擎概述推理引擎的定义
09
推理引擎与NPU的适配
引擎如何调用NPU · 异构计算架构 · 算子映射与加速原理
NPU推理引擎
10
推理引擎安装与配置
以ONNX Runtime和Tens… · 安装步骤 · 环境变量设置
推理引擎安装配置
11
模型转换与优化
将PyTorch/TensorFlo… · TensorRT等格式 · 量化与精度校准
模型转换优化
12
NPU算子支持与自定义算子
检查算子支持列表 · 缺失算子的处理 · 自定义算子开发流程
NPU算子支持
13
推理引擎配置参数详解
batch size · 精度模式 · 内存池
推理引擎配置参数…batch
14
性能调优方法
使用profiling工具分析瓶颈 · 内存带宽优化 · 算子融合与图优化
性能调优方法profiling
15
多模型与多卡场景
多NPU并行推理 · 模型分发 · 负载均衡与同步机制
多模型多卡场景
16
实战案例一
在昇腾NPU上部署ResNet50图… · 从驱动安装到推理全流程
实战案例一NPU
17
实战案例二
在Jetson设备上配置Tensor…
实战案例二Jetson
18
实战案例三
使用ONNX Runtime在寒武纪…
实战案例三ONNX
19
常见问题与解决方案
驱动加载失败 · 推理引擎无法识别NPU · 内存溢出
常见问题解决方案
20
安全与稳定性
驱动升级回滚 · 日志管理 · 异常恢复与监控
安全稳定性
21
容器化部署
在Docker中配置NPU驱动与推理… · 使用nvidia-docker或昇腾…
容器化部署Docker
22
云环境与边缘设备
云上NPU实例配置 · 边缘设备资源受限下的优化策略
云环境边缘设备
23
推理引擎与深度学习框架集成
在PyTorch/TensorFlo…
推理引擎深度学习框架集成
24
模型服务化
使用TensorRT Inferen… · 实现动态批处理
模型服务化TensorRT
25
性能基准测试
设计基准测试方案 · 评估指标（延迟 · 吞吐量
性能基准测试设计基准测试方案
26
调试与日志分析
利用驱动日志 · 引擎日志 · 系统日志定位问题
调试日志分析
27
高级优化
模型剪枝 · 知识蒸馏 · 低比特量化在NPU上的实践
高级优化模型剪枝
28
多引擎协同
同时使用多个推理引擎或混合精度推理 · 实现最优性能
多引擎协同同时使用多个推理…
29
综合实战项目
从零搭建一个基于NPU的实时视频流推… · 涵盖驱动 · 引擎
综合实战项目NPU
30
课程总结与进阶路径
回顾核心知识点 · 常见误区 · 推荐学习资源与认证方向
课程总结进阶路径