第01章
精度对齐概述
什么是算子精度对齐 · 为什么需要精度对齐 · 挑战与目标
概念入门
第02章
精度对齐基础概念
浮点数表示(FP32/FP16/BF16) · ULP/相对误差/绝对误差 · 误差来源
浮点度量
第03章
精度对齐工具链介绍
PyTorch/TensorFlow/ONNX Runtime · 工具链选型与对比
工具对比
第04章
精度对齐环境搭建
Python环境 · CUDA/cuDNN · torch.testing安装与验证
环境CUDA
第05章
数据准备与预处理
随机/边界/真实数据 · 标准化与归一化
数据预处理
第06章
前向传播精度对齐
前向计算流程 · 逐层输出对比 · 误差统计与可视化
前向对比
第07章
反向传播精度对齐
梯度计算对比 · 链式法则验证 · 梯度爆炸/消失检测
反向梯度
第08章
损失函数精度对齐
MSE/CrossEntropy/L1 · 数值稳定性分析
损失稳定性
第09章
优化器精度对齐
SGD/Adam/AdamW · 参数更新一致性检查
优化器对比
第10章
批处理(Batch)精度对齐
Batch维度影响 · 多Batch一致性 · Batch Normalization精度
BatchBN
第11章
混合精度训练精度对齐
FP16/BF16原理 · Loss Scaling · 精度损失补偿
混合精度FP16
第12章
量化精度对齐
INT8/INT4量化 · QAT与PTQ · 量化误差分析
量化INT8
第13章
自定义算子精度对齐
自定义算子开发 · 注册与调用 · 精度对比框架
自定义算子
第14章
精度对齐自动化框架
自动化测试脚本 · CI/CD集成 · 回归测试策略
自动化CI/CD
第15章
精度对齐报告生成
报告模板 · 关键指标 · 可视化图表(直方图/散点图)
报告可视化
第16章
精度对齐案例分析(一) CNN
卷积层 · 池化层 · 全连接层实战
CNN实战
第17章
精度对齐案例分析(二) RNN/LSTM
时序依赖 · 梯度传播 · LSTM精度实战
RNNLSTM
第18章
精度对齐案例分析(三) Transformer
Attention · LayerNorm · 位置编码
Transformer注意力
第19章
精度对齐案例分析(四) GAN
生成器与判别器平衡 · 训练稳定性
GAN生成对抗
第20章
精度对齐案例分析(五) GNN
消息传递 · 聚合函数 · 节点更新
GNN图神经网络
第21章
数值稳定性问题
Inf/NaN检测 · 下溢/上溢 · 数值修约策略
稳定性Inf/NaN
第22章
随机性控制
随机种子 · 确定性算法 · 随机性对精度影响
随机种子确定性
第23章
性能优化
减少对比开销 · 并行化 · 内存优化
性能优化
第24章
精度对齐与模型部署
ONNX导出 · TensorRT/OpenVINO · 边缘设备差异
部署ONNX
第25章
调试技巧
断点调试 · 日志分析 · 二分法定位误差源
调试技巧
第26章
精度对齐标准与规范
IEEE 754 · 行业规范 · 公司内部流程
标准IEEE
第27章
团队协作
多人协作流程 · 代码审查 · 知识库建设
协作团队
第28章
未来趋势
新硬件(NPU/TPU) · 大模型 · 自动化工具发展
趋势NPU
第29章
综合实战(一) 完整流水线
从零搭建精度对齐流水线 · 数据/训练/推理全流程
实战全流程
第30章
综合实战(二) 报告解读与优化
报告解读 · 基于结果迭代优化模型/算子
实战优化