VIP20

本课程属于：007-存算一体 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

算子精度对齐实战演练

📚 共计 30 章节

精度对齐概述

为什么需要精度对齐？挑战与目标

浮点数基础

IEEE 754标准、单精度与双精度、浮点误差来源

误差度量指标

绝对误差、相对误差、ULP、余弦相似度、PSNR

Golden Data生成

标准参考数据：随机数、固定模式、真实数据

算子精度分析工具

NumPy对比、PyTorch对比、自定义脚本

逐元素算子精度对齐

ReLU、Sigmoid、Tanh 精度验证

激活逐元素

归约算子精度对齐

Sum、Mean、Max、Min 精度陷阱

矩阵乘精度对齐

GEMM精度分析、Kahan求和算法

卷积算子精度对齐

im2col、Winograd、FFT 精度差异

BatchNorm精度对齐

训练与推理模式下的精度差异

LayerNorm精度对齐

与BatchNorm的精度对比

Softmax精度对齐

数值稳定性技巧、LogSoftmax

Attention机制精度对齐

QKV计算、Softmax、加权求和

AttentionTransformer

Embedding精度对齐

查表操作与梯度计算的精度

激活函数精度对齐

GELU、Swish、Mish 等新激活函数

激活新函数

损失函数精度对齐

CrossEntropy、MSE、L1Loss

混合精度训练精度对齐

FP16与FP32的精度差异

混合精度FP16

量化算子精度对齐

INT8量化、对称/非对称量化

随机算子精度对齐

Dropout、随机种子、随机数生成器

梯度算子精度对齐

自动微分、数值梯度检查

动态Shape精度对齐

变长序列、动态Batch的精度问题

多线程/多卡精度对齐

并行计算引入的非确定性

并行非确定

精度对齐自动化脚本

构建自动化测试框架

自动化框架

精度对齐报告生成

可视化误差分布、统计报告

报告可视化

常见精度问题排查

NaN、Inf、精度溢出、精度丢失

硬件相关精度问题

不同芯片（GPU/CPU/NPU）的精度差异

精度对齐最佳实践

编码规范、测试策略、文档记录

案例实战1：ResNet50

整网精度对齐

案例实战2：BERT

整网精度对齐

案例实战3：YOLOv5

整网精度对齐