VIP20
本课程属于：020-SMILES分子生成建模 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

轻量推理优化方案指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
推理优化概述
轻量推理的需求 · 常见优化方法 · 性能指标定义
推理优化概述轻量推理的需求
02
模型量化基础
浮点与定点 · 量化原理 · 对称量化和非对称量化
模型量化基础浮点
03
量化工具与框架
TensorRT量化 · ONNX Runtime量化 · PyTorch量化工具
量化工具框架
04
训练后量化（PTQ）
校准数据集 · 精度损失分析 · 混合精度量化
PTQ训练后量化
05
量化感知训练（QAT）
模拟量化 · 直通估计器 · 训练策略
QAT量化感知训练
06
模型剪枝入门
剪枝分类（结构化/非结构化） · 剪枝粒度 · 稀疏度概念
模型剪枝入门剪枝分类
07
剪枝方法与实现
L1/L2剪枝 · 贪婪剪枝 · 基于梯度的剪枝
剪枝方法实现
08
剪枝后微调与恢复
学习率调度 · 重训练策略 · 精度回升技巧
剪枝后微调恢复
09
知识蒸馏原理
教师-学生框架 · 软标签 · 温度系数
知识蒸馏原理教师
10
蒸馏实战
离线蒸馏 · 在线蒸馏 · 自蒸馏
蒸馏实战离线蒸馏
11
算子融合与图优化
Conv+BN融合 · ReLU合并 · 常数折叠
算子融合图优化
12
内存优化策略
Tensor内存复用 · In-place操作 · 梯度检查点
内存优化策略Tensor
13
推理引擎对比
TensorRT · ONNX Runtime · OpenVINO
推理引擎对比TensorRT
14
TensorRT实践
构建engine · 动态形状 · INT8校准
TensorRTengine
15
ONNX Runtime优化
Graph Optimization · Execution Provider · 量化接口
ONNXRuntime
16
OpenVINO适配
模型转换 · IR格式 · 硬件插件
OpenVINO适配
17
TFLite与端侧部署
量化和转换 · Delegate（GPU/NNAPI… · 模型大小压缩
TFLite端侧部署
18
CPU指令集加速
AVX · NEON · SSE
CPU指令集加速
19
GPU推理加速
CUDA核心调用 · Tensor Core使用 · 批处理优化
GPU推理加速
20
NPU与专用芯片
华为昇腾 · 苹果ANE · 高通Hexagon
NPU专用芯片
21
模型序列化与交互
TorchScript · ONNX导出 · 跨平台兼容性
模型序列化交互
22
性能分析与Profiling
NVIDIA Nsight · Intel VTune · ONNX Runtime Perf
Profiling性能分析
23
延迟优化技巧
异步推理 · 多实例部署 · 预热与缓存
延迟优化技巧异步推理
24
吞吐量与批次策略
动态批次 · 最优batch size搜索 · 流水线并行
吞吐量批次策略
25
模型压缩进阶
混合精度（FP16/BF16） · 权重共享 · 哈希网络
模型压缩进阶FP16/BF16
26
自动化优化工具
AutoML for Compres… · NNI · Lightning
自动化优化工具AutoML
27
安全与鲁棒性
量化后异常处理 · 对抗防御 · 模型加密
安全鲁棒性
28
端到端案例（CV方向）
图像分类模型量化和部署全流程
CV端到端案例
29
端到端案例（NLP方向）
BERT剪枝与蒸馏 · 移动端推理
NLP端到端案例
30
总结与最佳实践
选型指南 · 团队协作 · 持续优化迭代建议
最佳实践选型指南