01
融合基础：什么是算子融合？为什么融合会导致精度问题？
核心概念与精度风险初探
基础原理
02
精度问题分类：数值误差、类型截断、数学等价性破坏
三大典型误差类型详解
分类理论
03
环境准备：搭建可复现的调试环境 (Python + PyTorch + ONNX Runtime)
从零配置稳定调试流水线
环境工具
04
基线建立：如何获取融合前的原始精度数据
锁定融合前参考标准
基线方法
05
融合后对比：逐层输出对比，定位第一个异常节点
逐层诊断，快速定位漂移
对比调试
06
常见模式一：Conv+BatchNorm融合中的精度漂移
经典融合陷阱与修复思路
模式CNN
07
常见模式二：Gelu近似计算带来的误差
激活函数近似引发的精度损失
模式激活
08
常见模式三：LayerNorm融合中的数值稳定性
归一化层融合的隐藏风险
模式归一化
09
常见模式四：Softmax + 矩阵乘融合的溢出风险
数值上溢/下溢与精度崩溃
模式溢出
10
常见模式五：Reshape/Transpose 融合导致的数据错位
形状操作融合的语义陷阱
模式数据布局
11
工具链使用：使用 ONNX Runtime 的调试模式
开启调试日志与中间张量
工具ORT
12
工具链使用：使用 Netron 可视化图结构
图形化检查融合前后计算图
工具可视化
13
工具链使用：编写自定义调试脚本进行逐点对比
Python 脚本实现张量级对比
工具脚本
14
数值分析：计算余弦相似度与相对误差
量化精度偏差的核心指标
分析指标
15
数值分析：使用 NumPy 进行统计分析
均值、方差、直方图对比
分析NumPy
16
案例实战一：BERT 模型融合后精度下降排查
NLP 经典模型精度诊断
案例BERT
17
案例实战二：ResNet50 融合后 Top-1 准确率下降
计算机视觉模型精度回退
案例ResNet
18
案例实战三：YOLOv5 融合后检测框偏移
目标检测任务中的融合偏差
案例YOLO
19
案例实战四：T5 模型融合后生成文本质量变差
生成式模型精度影响
案例T5
20
案例实战五：Stable Diffusion 融合后图像噪声增加
扩散模型融合伪影分析
案例SD
21
修复策略一：回退特定融合规则
选择性禁用问题融合
修复回退
22
修复策略二：修改融合实现，使用高精度中间计算
FP32/FP64 中间张量保精度
修复精度提升
23
修复策略三：插入 Cast 节点防止类型截断
显式类型转换避免精度丢失
修复Cast
24
修复策略四：调整融合顺序，避免累积误差
融合优先级与误差传播
修复顺序
25
修复策略五：使用混合精度训练后的权重适配
AMP 权重对融合的补偿
修复混合精度
26
自动化排查：编写脚本自动检测精度异常节点
批量对比与异常报警
自动化脚本
27
自动化排查：集成到 CI/CD 流水线中
持续集成中的精度门禁
自动化CI/CD
28
性能与精度的权衡：如何设定可接受的误差阈值
业务指标与数值容差
权衡阈值
29
硬件差异：不同 GPU/CPU 上的融合精度表现
跨硬件精度一致性分析
硬件差异
30
总结与最佳实践：建立算子融合精度排查 SOP
标准化流程与知识沉淀
总结SOP