所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

NPU端侧大模型NPU加速从入门到精通

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
NPU基础
NPU架构 · 与CPU/GPU的区别 · 主流NPU厂商与产品（如华为昇腾
NPU架构
03
端侧大模型概述
大模型在端侧部署的挑战 · 典型应用场景（如语音助手 · 图像生成
端侧大模型概述大模型
04
端侧NPU加速原理
算子融合 · 量化 · 剪枝
NPU端侧
05
开发环境搭建
NPU SDK安装 · 交叉编译工具链 · 调试工具与模拟器使用
开发环境搭建NPU
06
模型转换与优化
将PyTorch/TensorFlo… · OM · IR）
模型转换优化
07
量化技术实战
PTQ与QAT量化方法 · 混合精度量化 · 量化误差分析与调优
量化技术实战PTQ
08
算子映射与自定义算子
常用算子（卷积 · 注意力 · 归一化）在NPU上的映射
算子映射自定义算子
09
内存管理与数据搬运
NPU内存层次 · DMA传输优化 · 内存复用与池化策略
内存管理数据搬运
10
多线程与异步执行
NPU任务调度 · 多核并行 · 异步推理与流水线设计
多线程异步执行
11
端侧推理框架集成
使用MindSpore Lite · TensorRT · ONNX Runtime等框架在NP…
端侧推理框架集成MindSpore
12
性能分析工具
使用Profiler · Perfetto等工具定位性能瓶颈 · 分析算子耗时与内存占用
性能分析工具Profiler
13
模型压缩与加速
结构化剪枝 · 低秩分解 · 知识蒸馏在端侧NPU上的实践
模型压缩加速
14
Transformer模型加速
针对Attention机制的NPU优… · 稀疏注意力）
Transformer模型加速
15
CV模型加速实战
以MobileNet · YOLO为例 · 在NPU上实现图像分类与目标检测的加…
CV模型加速实战
16
NLP模型加速实战
以BERT · 类模型为例 · 在NPU上实现文本分类与生成
NLP模型加速实战
17
多模态模型加速实战
以CLIP · LLaVA为例 · 在NPU上实现图文理解与生成
多模态模型加速实…CLIP
18
端侧部署全流程
从模型训练到端侧部署的完整流程 · 包括模型转换 · 量化
端侧部署全流程从模型训练到端侧…
19
功耗与散热优化
NPU功耗管理 · 动态电压频率调整（DVFS） · 热降频策略
功耗散热优化
20
兼容性与可移植性
不同NPU平台间的代码迁移 · 抽象层设计 · 跨平台编译
兼容性可移植性
21
安全与隐私
端侧推理的数据加密 · 模型加密 · 防逆向与安全隔离
安全隐私
22
常见问题与调试
模型精度下降 · 推理速度慢 · 内存溢出
常见问题调试
23
性能调优进阶
算子融合策略 · 内存访问优化 · 指令级优化
性能调优进阶算子融合策略
24
端侧大模型轻量化
模型小型化技术（如MobileLLM · TinyBERT）与NPU协同设计
端侧大模型轻量化MobileLLM
25
实时推理与低延迟
流式处理 · 批处理与单流延迟的平衡 · 实时应用（如语音识别）的优化
实时推理低延迟
26
边缘计算与云边协同
端侧NPU与云端协同推理 · 模型分片与联邦学习
边缘计算云边协同
27
案例实战
智能语音助手端侧唤醒词检测与语音识别…
案例实战智能语音助手端侧…
28
案例实战
端侧图像超分辨率与风格迁移NPU加速
案例实战NPU
29
案例实战
端侧大语言模型（如LLaMA-7B）…
案例实战LLaMA-7B
30
综合项目与未来趋势
综合实战项目（如端侧AI助手） · NPU技术发展趋势与学习路径建议
综合项目未来趋势