第3章：ONNX模型解析

ONNX，全称Open Neural Network Exchange。说白了，它就是AI模型的“通用语言”。

我刚开始做NPU推理时，最头疼的就是模型格式不统一。PyTorch训练好的模型，TensorRT不认；Keras导出的模型，OpenVINO又报错。直到ONNX出现，才真正解决了这个痛点。

ONNX是微软和Facebook在2017年联合推出的。它的目标很简单：让不同框架训练的模型，能在不同推理引擎上跑起来。

我个人习惯把ONNX看作“模型界的PDF”。你想想看，Word文档转成PDF后，不管在哪个设备上打开，排版都不会乱。ONNX也是这个道理——训练框架导出ONNX，推理框架加载ONNX，中间不需要关心对方用了什么工具。

ONNX的核心优势：

ONNX文件有两种格式：

格式	扩展名	特点
Protobuf二进制	.onnx	体积小，加载快，生产环境常用
文本格式	.onnx.txt	可读性强，调试时用，但文件大

我在项目中遇到过一个问题：用PyTorch导出的ONNX，在NPU上推理结果不对。排查了半天，发现是导出时opset版本没对齐。ONNX每个版本都会新增或修改算子，版本不对就会出幺蛾子。

避坑指南：导出ONNX时，务必指定opset版本。我建议用opset 11或13，这两个版本兼容性最好。

拿到一个ONNX模型，第一件事是什么？我建议你先别急着写代码，打开Netron看看。

Netron是一个轻量级的模型可视化工具。它支持ONNX、TensorFlow、PyTorch等多种格式。你只需要把模型文件拖进去，就能看到完整的网络结构。

我个人习惯用Netron做三件事：

小技巧：Netron支持在线版和离线版。我建议下载离线版，因为模型文件可能涉及隐私，上传到网页不安全。

Netron的界面很直观。左侧是模型结构树，右侧是选中节点的详细信息。你可以点击任意节点，查看它的输入输出维度、属性参数、甚至权重值。

嗯，这里要注意：Netron显示的是静态图结构，不是动态执行流程。有些模型在训练时有控制流（比如if-else），Netron可能显示不全。这时候需要结合代码来看。

ONNX模型本质上是一个有向无环图（DAG）。每个节点就是一个算子，边代表数据流向。

举个例子，一个简单的卷积网络：

输入 → Conv → ReLU → Pool → FC → Softmax → 输出

在ONNX里，每个步骤都是一个节点。节点之间通过张量（Tensor）连接。张量就是多维数组，比如图片是4维的（batch, channel, height, width）。

我刚开始做NPU优化时，经常忽略拓扑结构的重要性。直到有一次，一个模型在GPU上跑得飞快，换到NPU上却慢得像蜗牛。后来发现，是模型里有个Reshape算子，把数据排布打乱了，导致NPU的矩阵计算单元没法高效工作。

算子映射的核心原则：

常见的ONNX算子包括：

类别	算子	说明
卷积	Conv, ConvTranspose	图像特征提取
激活	Relu, Sigmoid, Tanh	非线性变换
池化	MaxPool, AveragePool	降采样
归一化	BatchNormalization, LayerNormalization	稳定训练
全连接	Gemm, MatMul	特征映射
张量操作	Reshape, Transpose, Concat	数据排布调整

拓扑结构决定了数据流动的效率。我总结了一个经验：NPU喜欢“规整”的数据流。如果模型里频繁出现Transpose、Reshape，NPU的性能就会大打折扣。因为这些算子会打断连续的内存访问，导致缓存命中率下降。

下面这张图展示了ONNX模型的典型拓扑结构：

为什么NPU对拓扑结构这么敏感？因为NPU的硬件设计是“流水线”式的。数据从输入到输出，要经过多个计算单元。如果拓扑结构是线性的，数据流就很顺畅。但如果出现分支、合并、跳跃，硬件就要做额外的调度，性能自然就下来了。

我曾经优化过一个模型，里面有个很深的残差结构。在GPU上跑没问题，但NPU上就是慢。后来我用Netron一看，发现残差连接导致数据流出现了“回环”的假象。虽然ONNX图是DAG，但NPU的调度器处理这种结构时，会频繁切换上下文，导致效率低下。

优化建议：如果模型在NPU上性能不佳，先用Netron看看拓扑结构。重点关注有没有频繁的Transpose、Reshape，以及复杂的残差连接。这些往往是性能瓶颈的根源。

总结一下这一章的核心：ONNX是模型互通的桥梁，Netron是看清模型结构的“眼睛”，而理解算子节点和拓扑结构，是NPU推理优化的第一步。只有把模型结构吃透了，才能针对性地做算子映射和性能调优。