第四章：算子精度对齐与映射调试指南——从PyTorch/TensorFlow获取golden数据、使用ONNX作为中间表示、硬件厂商参考库

各位同行，今天我们来聊聊算子精度对齐中最核心的三个环节：怎么拿到靠谱的golden数据、怎么用ONNX当中间人、以及怎么用好厂商的参考库。这三个东西，说白了就是精度对齐的“三驾马车”。

我个人习惯把精度对齐比作“对答案”。你写了个算子，跑了一堆结果，但到底对不对？你得有个标准答案。这个标准答案，就是golden数据。而ONNX和厂商库，就是帮你拿到这个答案的工具和参考书。

4.1 从PyTorch/TensorFlow获取golden数据

golden数据，就是你的“标准答案”。它必须来自业界公认的框架，比如PyTorch或TensorFlow。为什么？因为芯片最终要跑的是这些框架训练出来的模型，你的算子结果必须和它们一致。

获取golden数据的核心原则：

• 同源同参： 输入数据、权重、模型结构、甚至随机种子，都必须和你的芯片端完全一致。差一个比特，结果都可能天差地别。
• 定点对齐： 如果你的芯片用INT8，那golden数据也得是INT8精度的。不能拿FP32的结果来对INT8的算子，那叫“关公战秦琼”。
• 覆盖边界： 别只测正常值。NaN、Inf、0、负数、大数、小数，这些边界情况最容易出bug。

具体操作步骤：

1. 导出模型： 在PyTorch/TensorFlow中，用torch.onnx.export或tf.saved_model.save导出模型。
2. 固定输入： 用torch.manual_seed(42)固定随机种子，生成一组输入数据。
3. 前向推理： 在框架中跑一次前向，拿到输出。
4. 保存数据： 将输入、权重、输出全部保存为numpy数组或二进制文件。
5. 比对： 在芯片端加载同样的输入和权重，跑你的算子，然后和golden输出做比对。

# PyTorch 获取 golden 数据的示例
import torch
import numpy as np

# 固定随机种子
torch.manual_seed(42)

# 定义模型
model = torch.nn.Conv2d(3, 64, kernel_size=3, padding=1)

# 生成固定输入
input_data = torch.randn(1, 3, 224, 224)

# 前向推理
output = model(input_data)

# 保存为 numpy 数组
np.save('golden_input.npy', input_data.numpy())
np.save('golden_weight.npy', model.weight.data.numpy())
np.save('golden_bias.npy', model.bias.data.numpy())
np.save('golden_output.npy', output.detach().numpy())

print("Golden data saved successfully!")

4.2 使用ONNX作为中间表示

ONNX，说白了就是个“翻译官”。你的模型在PyTorch里是一个样子，在芯片上又是另一个样子。ONNX能帮你把PyTorch的模型“翻译”成一种中间格式，然后你再从这个中间格式里提取算子信息，生成golden数据。

为什么用ONNX？

• 标准化： ONNX定义了一套标准的算子集，PyTorch和TensorFlow都支持导出。
• 可视化： 用Netron打开ONNX模型，你能看到整个计算图，每个算子的输入输出都清清楚楚。
• 调试利器： 你可以用ONNX Runtime跑一遍模型，拿到中间层的输出，这对于定位哪个算子出问题特别有用。

ONNX在精度对齐中的角色：

1. 模型转换： 将PyTorch/TensorFlow模型转为ONNX。
2. 算子提取： 从ONNX模型中提取出每个算子的定义、输入输出shape、属性等。
3. golden数据生成： 用ONNX Runtime跑模型，拿到每个算子的输出，作为golden数据。
4. 映射验证： 将芯片上的算子结果与ONNX Runtime的结果做比对。

# 使用 ONNX Runtime 获取中间层输出
import onnx
import onnxruntime as ort
import numpy as np

# 加载 ONNX 模型
onnx_model = onnx.load('model.onnx')

# 创建 ONNX Runtime 会话
sess = ort.InferenceSession('model.onnx')

# 准备输入数据
input_name = sess.get_inputs()[0].name
input_data = np.load('golden_input.npy')

# 运行推理，获取所有输出
outputs = sess.run(None, {input_name: input_data})

# 保存中间层输出
for i, output in enumerate(outputs):
    np.save(f'onnx_output_{i}.npy', output)

print("ONNX golden data generated!")

4.3 硬件厂商参考库

硬件厂商的参考库，比如NVIDIA的cuDNN、Intel的oneDNN、或者华为的CANN，这些库是芯片厂商自己写的、经过高度优化的算子实现。它们就是你的“参考答案”。

为什么需要厂商参考库？

• 权威性： 厂商对自己的硬件最了解，他们的实现通常是最优的，也是精度最可靠的。
• 一致性： 你的算子最终要和厂商的库一起工作，如果精度不一致，整个系统就会出问题。
• 调试参考： 当你的算子结果和golden数据对不上时，可以用厂商库的结果来“断案”——到底是你的算子错了，还是golden数据错了？

如何使用厂商参考库：

1. 安装库： 按照厂商文档安装对应的库，比如cuDNN、oneDNN等。
2. 调用接口： 用厂商库的API跑同样的算子，拿到输出。
3. 三方比对： 将你的算子结果、golden数据、厂商库结果三者放在一起比对。如果golden和厂商库一致，而你的不一致，那问题就在你这边。
4. 精度分析： 如果三者都不一致，那可能是golden数据本身有问题，或者模型转换过程中出了差错。

# 使用 cuDNN 作为参考库的示例（伪代码）
import cudnn
import numpy as np

# 准备输入数据
input_data = np.load('golden_input.npy').astype(np.float32)
weight_data = np.load('golden_weight.npy').astype(np.float32)

# 调用 cuDNN 的卷积算子
cudnn_output = cudnn.conv2d(input_data, weight_data, padding=1, stride=1)

# 保存 cuDNN 结果
np.save('cudnn_output.npy', cudnn_output)

# 三方比对
golden_output = np.load('golden_output.npy')
my_output = np.load('my_operator_output.npy')

print("Golden vs cuDNN:", np.allclose(golden_output, cudnn_output, atol=1e-5))
print("My vs cuDNN:", np.allclose(my_output, cudnn_output, atol=1e-5))
print("My vs Golden:", np.allclose(my_output, golden_output, atol=1e-5))

4.4 知识体系与核心逻辑

下面这张图，是我自己总结的精度对齐核心流程。你一看就明白了。

嗯，这张图其实就说明白了：golden数据从PyTorch/TF来，经过ONNX做标准化，再用厂商库做交叉验证。你的算子结果和这三路数据比对，就能定位问题。

4.5 总结与建议

说白了，精度对齐就是个“找不同”的游戏。你拿到golden数据，跑你的算子，然后看哪里不一样。但关键是，你得确保golden数据本身是对的。

我个人建议你养成三个习惯：

• 自动化： 写脚本自动生成golden数据，自动比对，自动出报告。别手动跑，容易出错。
• 版本管理： 每次修改算子后，重新生成golden数据，并记录版本号。我曾经因为忘了更新golden数据，浪费了一周时间。
• 多平台验证： 如果条件允许，在CPU、GPU、NPU三个平台上都跑一遍golden数据。如果三个平台结果一致，那golden数据基本就稳了。