VIP20
本课程属于：021-多模态感知算法 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多模态数据增强与模型压缩落地

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
多模态AI的现状与挑战 · 为什么需要数据增强与模型压缩
课程导论AI
02
多模态数据基础
图像 · 文本 · 语音数据的表示与预处理
多模态数据基础图像
03
经典数据增强方法
图像翻转 · 旋转 · 裁剪
经典数据增强方法图像翻转
04
高级图像增强
MixUp · CutMix · RandAugment
高级图像增强MixUp
05
文本数据增强
EDA（Easy Data Augm… · 对抗训练（FGM/PGD）在NLP中…
文本数据增强EDA
06
语音数据增强
SpecAugment · 时域/频域掩码 · Room Impulse Respo…
语音数据增强SpecAugment
07
跨模态数据增强
图像-文本配对数据的增强策略（如文本…
跨模态数据增强图像
08
生成式数据增强
使用GAN/Diffusion模型生…
生成式数据增强GAN/Diffusio…
09
数据增强的工程落地
分布式数据流水线 · 在线增强与离线增强的选择
数据增强的工程落…分布式数据流水线
10
模型压缩概述
为什么要压缩？剪枝 · 量化 · 蒸馏
模型压缩概述为什么要压缩？剪…
11
结构化剪枝
基于L1/L2范数的通道剪枝 · 网络瘦身（Network Slimm…
结构化剪枝L1/L2
12
非结构化剪枝
细粒度剪枝 · 彩票假设（Lottery Ticke…
非结构化剪枝细粒度剪枝
13
剪枝的工程落地
使用Torch-Pruning · NVIDIA ASP进行实际模型剪枝
剪枝的工程落地Torch-Prunin…
14
模型量化基础
对称/非对称量化 · 线性量化与非线性量化 · 量化感知训练（QAT）
模型量化基础对称
15
训练后量化（PTQ）
Calibration数据集的选择 · KL散度与MSE校准方法
PTQ训练后量化
16
量化部署实战
使用TensorRT · ONNX Runtime · TFLite进行INT8量化
量化部署实战TensorRT
17
知识蒸馏原理
软标签 · 温度系数 · 蒸馏损失函数设计（KD
知识蒸馏原理软标签
18
多模态蒸馏
跨模态蒸馏（如CLIP蒸馏到轻量模型… · 模态解耦蒸馏
多模态蒸馏CLIP
19
蒸馏工程落地
自蒸馏 · 在线蒸馏 · 多教师蒸馏的代码实现
蒸馏工程落地自蒸馏
20
低秩分解
SVD分解 · CP分解在卷积层和全连接层的应用
低秩分解SVD
21
混合压缩策略
剪枝+量化+蒸馏的联合优化 · 如何平衡精度与速度
混合压缩策略剪枝+量化+蒸馏…
22
多模态模型压缩案例1
轻量级视觉语言模型（如MobileC… · TinyViT）的压缩
多模态模型压缩案…MobileC
23
多模态模型压缩案例2
语音-文本联合模型的压缩（如Whis…
多模态模型压缩案…Whis
24
多模态模型压缩案例3
视频理解模型（如VideoMAE）的…
多模态模型压缩案…VideoMAE
25
边缘端部署
ONNX Runtime · TensorRT · CoreML
边缘端部署ONNX
26
模型加速库
FlashAttention · vLLM · TensorRT-LLM在多模态推理…
模型加速库FlashAttenti…
27
端侧多模态应用
手机端实时图像描述 · 语音唤醒+视觉定位
端侧多模态应用手机端实时图像描…
28
评估与监控
压缩后模型的精度 · 延迟 · 功耗
评估监控
29
持续学习与模型更新
增量压缩 · 动态量化 · 模型热更新技术
持续学习模型更新
30
课程总结与未来展望
多模态大模型（ · Gemini）时代的压缩新挑战
课程总结未来展望