VIP8

本课程属于：039-昇腾Atlas与CANN开发工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Atlas 300I 推理卡实战精讲

📚 共计 30 章节

Atlas 300I 初识

AI推理卡市场定位、硬件架构概览、核心规格参数解读、典型应用场景。

昇腾软件栈全景

CANN软件架构、驱动与固件、AscendCL推理框架、MindStudio开发工具链。

软件栈工具链

环境搭建与验证

硬件安装、驱动与CANN安装、环境变量配置、使用npu-smi工具验证。

AscendCL基础概念

Context、Stream、Device管理、内存管理模型、同步与异步机制。

模型准备与转换

原始模型格式（Caffe/TensorFlow/ONNX）、ATC工具使用、om模型文件生成。

推理流程初探

加载模型、创建输入输出、执行推理、获取结果，一个完整的Hello World示例。

数据预处理

AIPP（AI Preprocessing）配置、图像缩放/裁剪/归一化、DVPP硬件解码与预处理。

模型推理进阶

多Batch推理、动态Batch/动态分辨率、模型分片与多卡并行。

内存优化技巧

内存复用、内存池管理、Cache刷新策略、大页内存配置。

Stream与异步并发

多Stream并行、Event同步、异步推理实战、提升硬件利用率。

Profiling性能分析

使用msprof工具、性能数据采集、算子耗时分析、瓶颈定位。

调优Profiling

算子开发入门（TBE）

TBE DSL基础、自定义算子开发流程、算子调试与验证。

模型精度调优

精度比对工具（msaccuracy）、混合精度（FP16/INT8）配置、量化感知训练。

C++推理接口详解

AscendCL C++ API、资源RAII管理、异常处理、性能对比。

Python推理接口详解

AscendCL Python API、numpy数据交互、便捷开发技巧。

媒体数据处理

DVPP的VPC（视觉预处理）、JPEGD（解码）、JPEGE（编码）、PNGD。

多路视频流推理

RTSP拉流、解码、推理、编码推流，构建端到端视频分析管线。

模型部署与服务化

使用MindX SDK构建推理服务、RESTful API封装、Docker容器化部署。

部署服务化

Atlas 300I 与 MindSpore 协同

MindSpore模型导出、Lite推理、端边云协同。

MindSpore协同

Atlas 300I 与 TensorFlow 协同

TF模型迁移、TF2OM工具、TensorFlow on Ascend。

TensorFlow迁移

Atlas 300I 与 PyTorch 协同

Torch模型迁移、TorchAir适配、ONNX导出与转换。

推理卡故障排查

常见错误码解读、日志分析（dmesg/ascend日志）、硬件健康检查。

性能调优实战

计算与IO重叠、算子融合、内存带宽优化、端到端Pipeline优化。

安全与权限管理

NPU设备隔离、用户权限控制、安全启动、可信执行环境。

集群与多卡通信

HCCL（华为集合通信库）配置、多卡AllReduce、分布式推理。

边缘计算场景实战

Atlas 500与300I对比、低功耗模式、断网续传、模型热更新。

云端推理场景实战

Atlas 800推理服务器、弹性伸缩、负载均衡、高可用架构。

行业案例解析（一）

智慧安防-人脸识别与结构化分析、智慧交通-车辆检测与流量统计。

行业案例解析（二）

智慧医疗-医学影像分析、工业质检-缺陷检测、OCR文字识别。

课程总结与展望

昇腾推理生态全景、未来技术趋势（稀疏计算、大模型推理）、学习路径建议。