第1章
NPU基础认知
什么是NPU、NPU与GPU/CPU的区别、NPU在AI推理中的核心优势。
概念入门
第2章
主流NPU芯片概览
华为昇腾、寒武纪、地平线、瑞芯微等芯片架构特点对比。
芯片对比
第3章
NPU算子概念
算子的定义、常见算子类型（Conv2D、MatMul、Softmax、ReLU等）、算子融合原理。
算子融合
第4章
算子映射原理
从AI框架（PyTorch/TensorFlow）到NPU指令的映射流程、算子注册机制。
映射机制
第5章
NPU开发环境搭建
昇腾CANN工具链安装、交叉编译环境配置、模型转换工具（ATC）入门。
环境CANN
第6章
ONNX模型导出与适配
PyTorch模型转ONNX、ONNX算子兼容性检查、NPU自定义算子注册。
ONNX适配
第7章
算子性能分析工具
Profiling工具使用（如昇腾msprof）、算子耗时拆解、带宽利用率计算。
Profiling带宽
第8章
单算子吞吐压测方法
单算子循环调用、耗时统计、吞吐量（OPS）计算公式。
压测吞吐
第9章
多算子流水线压测
多算子串行/并行调度、Pipeline延迟隐藏、吞吐瓶颈定位。
流水线调度
第10章
内存带宽对吞吐的影响
DDR带宽 vs HBM带宽、数据搬运耗时、DMA传输优化。
带宽DMA
第11章
算子融合实战
Conv+BN+ReLU融合、MatMul+Add融合、融合后吞吐提升对比。
融合实战
第12章
量化对吞吐的影响
INT8 vs FP16 vs FP32吞吐对比、量化校准流程、精度损失评估。
量化INT8
第13章
动态Shape处理
动态Batch、动态分辨率对算子映射的影响、动态Shape优化策略。
动态Shape优化
第14章
多线程/多流并发压测
多线程调用NPU、Stream并发调度、线程安全与资源竞争。
并发多流
第15章
NPU与CPU异构协同
CPU预处理+NPU推理、异步加载、Host-Device数据传输优化。
异构协同
第16章
算子精度调试
精度比对工具（如昇腾compare）、余弦相似度、相对误差分析。
精度调试
第17章
模型端到端吞吐压测
完整模型（ResNet50/YOLOv5）吞吐测试、预处理+推理+后处理全链路。
端到端模型
第18章
Batch Size对吞吐的影响
最优Batch搜索、显存占用与吞吐的Trade-off。
Batch显存
第19章
算子库（Kernel Library）使用
AscendCL算子库、TBE自定义算子开发入门。
算子库AscendCL
第20章
TBE算子开发实战
DSL开发模式、TIK开发模式、算子编译与部署。
TBEDSL
第21章
算子性能调优方法论
Roofline模型分析、计算密集型 vs 访存密集型算子优化。
调优Roofline
第22章
NPU集群压测
多卡（8卡/16卡）吞吐测试、通信算子（AllReduce）开销分析。
集群多卡
第23章
推理引擎集成
TensorRT for NPU、OpenVINO for NPU、ONNX Runtime NPU后端。
推理引擎集成
第24章
算子映射失败排查
算子不支持、精度不达标、Shape不匹配等常见问题及解决方案。
排查问题
第25章
NPU驱动与固件升级
驱动版本兼容性、固件升级步骤、性能回归验证。
驱动固件
第26章
容器化NPU部署
Docker配置NPU设备映射、Kubernetes管理NPU资源、弹性伸缩。
容器K8s
第27章
NPU功耗与散热
功耗监控、TDP限制、降频对吞吐的影响、散热方案。
功耗散热
第28章
算子Benchmark标准化
MLPerf推理基准、自定义Benchmark脚本、结果可复现性。
BenchmarkMLPerf
第29章
NPU选型指南
算力需求评估、TCO分析、不同NPU芯片吞吐/功耗/价格对比。
选型TCO
第30章
综合实战项目
从模型选型、算子映射、吞吐压测到部署上线的完整流程。
实战全流程