01
精度对齐基础概念
什么是算子精度对齐，为什么需要精度对齐，衡量标准（余弦相似度、最大绝对误差、均方根误差）
概念指标
02
环境搭建与工具链准备
Python虚拟环境，PyTorch/TensorFlow，NumPy/SciPy，Matplotlib安装
环境工具
03
参考实现获取
从官方框架获取标准算子实现，编写单算子测试脚本，验证正确性
参考验证
04
待测算子接口分析
解析输入输出接口，数据排布(NHWC vs NCHW)与数据类型(FP32/FP16/INT8)
接口排布
05
数据生成策略
随机数据(均匀/正态)，边界值(最大/最小/0/NaN)，特定模式(全1/全0/递增)
数据边界
06
前向精度对齐（基础篇）
单次前向对比，余弦相似度与最大绝对误差，阈值判断
前向基础
07
前向精度对齐（进阶篇）
批量数据测试，多随机种子，误差分布直方图可视化
前向统计
08
反向梯度精度对齐
自动求导机制，自定义算子反向梯度，对比参考框架结果
反向梯度
09
融合算子概念
什么是算子融合(Conv+BN+ReLU)，优势(减少访存/提升性能)，常见融合模式
融合概念
10
融合后精度验证挑战
中间结果不可见，误差累积效应，如何拆分验证
挑战拆分
11
逐层拆分验证法
拆解为原子算子，分别对齐每个原子算子，组合验证整体精度
拆分白盒
12
黑盒验证法
输入输出对比，不关心内部实现，只关心最终结果是否在误差范围内
黑盒集成
13
白盒验证法
插入hook/回调函数，捕获中间张量，对比中间结果精度
白盒hook
14
混合精度验证
FP16+FP32混合精度对齐，精度损失来源(下溢/上溢/舍入)
混合精度FP16
15
量化算子精度对齐
INT8量化验证，反量化/再量化误差，校准数据集使用
量化INT8
16
动态形状算子验证
输入形状可变(动态batch)，编写动态测试脚本，验证不同形状精度
动态形状
17
多线程/多卡场景验证
数据竞争，多卡通信精度对齐，分布式随机种子管理
多卡分布式
18
自动化测试框架搭建
pytest/unittest组织用例，参数化测试，生成测试报告
自动化pytest
19
CI/CD集成
Jenkins/GitLab CI流水线，每日定时任务，失败告警
CI/CD流水线
20
误差分析与调试
二分法定位，常见原因(类型转换/算子bug/硬件bug)
调试定位
21
精度对齐报告撰写
结构化报告模板，环境/用例/误差统计/结论，可视化图表
报告文档
22
案例实战1：Conv2d算子
PyTorch导出参考结果，对比自定义Conv2d，分析误差来源
实战Conv2d
23
案例实战2：LayerNorm
归一化层小数精度，手动实现 vs 框架实现
实战LayerNorm
24
案例实战3：Softmax
指数运算数值稳定性，log_softmax与softmax精度差异
实战Softmax
25
案例实战4：Conv+BN+ReLU融合
逐层拆分验证，对比融合前后精度，性能与精度损失
实战融合
26
案例实战5：MultiHeadAttention
复杂融合场景，QKV投影与注意力计算精度验证
实战Attention
27
案例实战6：GELU激活函数
tanh近似 vs sigmoid近似，选择最优实现
实战GELU
28
性能与精度的权衡
平衡精度损失与性能提升，合理阈值(1e-5 vs 1e-3)，业务容忍度
权衡阈值
29
高级话题：数值稳定性
IEEE 754标准影响，Kahan求和算法在精度对齐中的应用
高级数值
30
课程总结与展望
回顾核心知识点，未来趋势(低精度/稀疏)，推荐学习资源
总结展望