VIP8

本课程属于：006-模型蒸馏与压缩部署工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NLP蒸馏模型部署调试与推理加速全流程优化指南

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导论与知识图谱

为什么需要模型蒸馏？蒸馏 · 剪枝 · 量化的核心区别与联系

课程导论知识图谱

Transformer架构速览

从BERT到 · 核心组件（Attention · FFN

Transformer架构速览

知识蒸馏基础理论

软标签与硬标签 · 温度系数T的作用 · KL散度损失函数详解

知识蒸馏基础理论软标签

Logits蒸馏实战

基于HuggingFace Trai… · 教师模型与学生模型的选择策略

Logits蒸馏实战

中间层特征蒸馏

FitNet方法 · 注意力矩阵蒸馏（TinyBERT） · 隐藏状态蒸馏（DistilBERT）

间层特征蒸馏FitNet

数据增强与蒸馏结合

无监督数据生成 · 回译（Back Translatio… · Mixup在蒸馏中的应用

数据增强蒸馏结合

蒸馏中的课程学习

渐进式蒸馏策略 · 从简单样本到困难样本的训练调度

蒸馏课程学习

多教师蒸馏

集成多个教师模型的知识 · 权重分配策略 · 冲突处理

多教师蒸馏集成多个教师模型…

对称量化 vs 非对称量化 · MinMax vs 滑动窗口校准 · PTQ（训练后量化）流程

QAT（量化感知训练）

伪量化节点插入 · 直通估计器（STE） · BN折叠技巧

QAT量化感知训练

混合精度训练

FP16与BF16原理 · Loss Scaling · AMP（自动混合精度）实战

混合精度训练FP16

结构化剪枝（移除Head · Layer） · 非结构化剪枝（权重稀疏化）

剪枝技术Head

ONNX导出与优化

torch.onnx.export参… · 动态轴与静态轴 · ONNX Simplifier与Op…

TensorRT工作流 · Engine构建与序列化 · 动态Shape处理

ONNX Runtime部署

ORT的Session配置 · Execution Provider… · 性能调优

vLLM推理框架

PagedAttention原理 · Continuous Batchin… · vLLM的部署与配置

vLLM推理框架

FlashAttention加速

FlashAttention-2原理 · 在HuggingFace中启用 · 显存与速度收益分析

FlashAttenti…加速

Multi-Query Attent… · KV Cache量化 · Prefix Caching

Speculative Decoding

投机解码原理 · 草稿模型选择 · 接受率与加速比

SpeculativeDecoding

模型服务化

FastAPI + Ray Serv… · 请求排队与批处理 · 负载均衡策略

模型服务化FastAPI

性能Profiling工具

PyTorch Profiler · Nsight Systems · NVIDIA Nsight Comp…

Profiling性能

Gradient Checkpoin… · Activation Offload… · ZeRO系列（ZeRO-1/2/3）…

显存优化Gradient

C++部署实战

LibTorch API调用 · C++ TensorRT封装 · Python与C++混合部署

C++部署实战

边缘端部署

TFLite转换 · NCNN框架 · MNN框架

边缘端部署TFLite

蒸馏+量化+剪枝联合优化

三合一流水线设计 · 精度损失恢复策略 · 实际案例（BERT压缩到3MB）

蒸馏+量化+剪枝…三合一流水线设计

大语言模型（LLM）蒸馏

系列蒸馏挑战 · DistilGPT2与Sheared… · 数据集蒸馏（Alpaca）

LLM大语言模型

多模态模型蒸馏

CLIP蒸馏 · Vision Transformer… · 图文对齐蒸馏

多模态模型蒸馏CLIP

自动化蒸馏与NAS

AutoDistil框架 · 神经架构搜索（NAS）与蒸馏结合 · One-Shot模型

NAS自动化蒸馏

生产环境监控与回滚

模型性能监控（延迟 · 吞吐 · 精度）

生产环境监控回滚

全流程案例实战

从BERT-base蒸馏到TinyB… · 再量化到INT8 · 最终部署到TensorRT

全流程案例实战BERT-base