VIP20

本课程属于：010-编译器适配 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

INT8推理单元部署实战

📚 共计 30 章节

INT8推理概述

为什么需要INT8量化 · 量化原理（对称/非对称）· 精度与性能的权衡

CUDA/cuDNN · TensorRT安装 · ONNX Runtime · Docker镜像构建

PyTorch→ONNX · 模型检查优化 · 动态轴与静态轴设置

Builder/Config/Engine/Core · 构建流程 · 序列化与反序列化

校准器(Calibrator)

校准数据集 · Int8Calibrator实现 · 熵校准与最小化校准

量化感知训练(QAT)

QAT原理 · PyTorch fake_quant · QAT与PTQ对比

ONNX Runtime INT8

ORT量化工具 · 动态/静态量化 · QDQ格式解析

余弦相似度 · KL散度 · 逐层精度对比 · 定位精度掉点层

算子融合 · 内存优化 · 动态形状优化 · 多流并行

图像分类 · 目标检测 · NLP模型INT8部署

INT8推理单元架构

硬件加速单元设计 · MAC阵列 · 累加器与饱和处理

量化参数计算

Scale/ZeroPoint · 量化表生成 · 离线/在线量化

卷积层量化

Conv量化实现 · im2col优化 · Winograd在INT8中的应用

全连接层量化

FC量化 · 矩阵乘INT8实现 · Gemm优化技巧

激活函数量化

ReLU/Sigmoid/Tanh量化 · 查找表实现 · PWL近似

BatchNorm融合

BN与Conv融合 · BN参数吸收 · 融合后的量化处理

残差连接量化

ResNet残差块量化 · Add层量化 · 精度保持策略

注意力机制量化

Self-Attention量化 · Softmax量化 · QKV量化

注意力Transformer

LayerNorm量化

LayerNorm实现 · RMSNorm量化 · 精度敏感度分析

归一化敏感度

Embedding量化

词嵌入量化 · 查找表量化 · 哈希技巧

嵌入查找表

混合精度推理

部分层FP16/INT8混合 · 敏感度分析 · 自动混合精度

混合精度AMP

稀疏化与量化

结构化稀疏 · 非结构化稀疏 · 稀疏量化联合优化

NVIDIA GPU · ARM CPU · NPU/TPU适配

Android NNAPI INT8 · iOS CoreML INT8 · TFLite INT8

端侧移动端

服务端部署

TensorRT Serving · Triton Inference Server · 负载均衡

服务端Triton

数据集验证 · 指标对比 · AB测试 · 回归测试

性能基准测试

吞吐量 · 延迟 · 功耗 · 内存占用 · Profiling工具

基准Profiling

常见问题排查

精度掉点排查 · 性能瓶颈定位 · 量化失败处理

模型选择建议 · 量化策略选择 · 部署流水线搭建

FP8/FP4量化 · 量化感知架构搜索 · 硬件协同设计