VIP20
本课程属于:007-存算一体 AI算力与GPU工程 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

从零搭建NPU推理环境实战指南

📚 共计 30 章节
第1章
NPU基础认知
什么是NPU、NPU与GPU/CPU的区别、主流NPU芯片厂商介绍(华为昇腾、寒武纪、地平线等)
概念芯片
第2章
环境规划与准备
硬件选型建议(开发板/服务器)、操作系统选择(Ubuntu 20.04/22.04)、网络与存储规划
硬件规划
第3章
Ubuntu系统安装与初始化
制作启动盘、磁盘分区、系统安装、SSH服务开启、换源与系统更新
系统基础
第4章
驱动与固件安装
NPU驱动下载、驱动安装步骤、固件升级、验证驱动是否加载成功(npu-smi等命令)
驱动固件
第5章
CANN软件包安装
CANN(华为AI计算框架)介绍、下载与安装、环境变量配置、安装验证
CANN框架
第6章
Python环境搭建
Miniconda/Anaconda安装、创建独立虚拟环境、Python版本选择(3.8/3.9/3.10)
Python环境
第7章
PyTorch适配与安装
PyTorch for Ascend安装、torch_npu插件安装、验证PyTorch是否能调用NPU
PyTorch适配
第8章
TensorFlow适配与安装
TensorFlow for Ascend安装、tf_npu插件安装、验证TensorFlow是否能调用NPU
TensorFlow适配
第9章
ONNX Runtime安装
ONNX Runtime for Ascend安装、ONNX模型转换基础、验证ONNX推理流程
ONNX推理
第10章
模型转换工具(ATC)入门
ATC工具介绍、ONNX模型转OM模型、ATC常用参数详解、转换失败排查
ATC转换
第11章
昇腾AI处理器架构解析
Da Vinci架构概览、AI Core与AI CPU、Cube Unit与Vector Unit、存储层次(L1/L2 Buffer)
架构昇腾
第12章
推理引擎(ACL)入门
AscendCL(ACL)接口介绍、资源初始化、模型加载与执行、内存管理
ACL推理
第13章
MindSpore Lite推理
MindSpore Lite介绍、模型转换(MS模型)、Lite推理API调用、性能调优
MindSporeLite
第14章
模型精度与性能验证
精度比对工具(msame/benchmark)、性能Profiling工具(msprof)、日志分析与调优
精度性能
第15章
多模型并发推理
多线程/多进程推理设计、共享内存与资源隔离、并发场景下的性能瓶颈分析
并发多模型
第16章
动态Batch与动态分辨率
动态Batch配置、动态分辨率支持、实际项目中的动态输入处理
动态Batch
第17章
模型量化与压缩
INT8量化原理、AMCT(Ascend Model Compression Toolkit)使用、量化后精度验证
量化压缩
第18章
自定义算子开发(TBE)
TBE(Tensor Boost Engine)介绍、DSL与API开发模式、算子编译与注册
TBE算子
第19章
推理服务化(MindSpore Serving)
Serving架构介绍、模型部署为gRPC服务、客户端调用示例
ServinggRPC
第20章
Docker容器化部署
Docker安装、制作NPU推理镜像、容器内挂载NPU设备、docker-compose编排
Docker容器
第21章
Kubernetes(K8s)集成
K8s集群搭建、Ascend Device Plugin安装、Pod调度到NPU节点、弹性伸缩
K8s集群
第22章
日志与监控体系
NPU日志收集(dmesg/npu-smi log)、Prometheus监控NPU指标、Grafana可视化
监控日志
第23章
常见故障排查
驱动加载失败、CANN版本不兼容、模型转换报错、推理结果异常、内存泄漏排查
故障排查
第24章
性能调优实战
Profiling数据解读、算子耗时分析、数据搬运优化、流水线并行设计
调优Profiling
第25章
CV模型部署实战(ResNet50)
模型下载与转换、预处理pipeline搭建、推理与后处理、性能测试
CVResNet50
第26章
NLP模型部署实战(BERT)
BERT模型导出ONNX、动态序列长度处理、推理优化(Flash Attention)
NLPBERT
第27章
多模态模型部署实战(CLIP)
CLIP模型拆分(Text/Image Encoder)、双流推理、特征融合
多模态CLIP
第28章
大模型推理部署(LLaMA类)
大模型显存估算、模型并行策略、KV Cache优化、vLLM适配
大模型LLaMA
第29章
安全与权限管理
NPU设备权限控制(udev规则)、容器安全、模型加密与保护、审计日志
安全权限
第30章
项目总结与最佳实践
全流程回顾、常见坑点汇总、生产环境部署checklist、未来技术趋势展望
总结最佳实践