VIP20
本课程属于：021-多模态感知算法 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据增强技术提升多模态模型泛化性

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
多模态模型面临的泛化挑战 · 数据增强的核心价值与课程概览
课程导论多模态模型面临的…
02
基础回顾
多模态模型基础（CLIP · ViLT） · 模态对齐与融合的基本概念
基础回顾CLIP
03
数据增强总览
数据增强的分类（有监督/自监督/无监… · 在线增强与离线增强
数据增强总览数据增强的分类
04
图像基础增强
几何变换（旋转 · 翻转 · 裁剪）
图像基础增强几何变换
05
文本基础增强
同义词替换 · 回译 · 随机插入/删除
文本基础增强同义词替换
06
音频基础增强
时间拉伸 · 音高偏移 · 背景噪声叠加
音频基础增强时间拉伸
07
跨模态混合增强
Mixup在图文对上的应用 · CutMix在多模态上的变体
跨模态混合增强Mixup
08
模态缺失模拟
随机Mask图像块 · 随机Mask文本 · 模拟真实世界缺失场景
模态缺失模拟Mask
09
对抗性数据增强
FGSM/PGD生成对抗样本 · 提升模型鲁棒性
对抗性数据增强FGSM/PGD
10
生成式数据增强（图像）
利用Stable Diffusion… · 控制条件生成
生成式数据增强图像
11
生成式数据增强（文本）
利用LLM（系列）生成多样化文… · 改写与扩写
生成式数据增强文本
12
生成式数据增强（音频）
利用AudioLDM等模型生成多样化…
生成式数据增强音频
13
基于检索的数据增强
从大规模数据集中检索相似样本 · 构建增强对
基于检索的数据增…从大规模数据集
14
时序数据增强
视频帧插值 · 随机采样 · 时间反转
时序数据增强视频帧插值
15
多模态数据合成
利用Captioning模型生成伪标… · 构建合成图文对
多模态数据合成Captioning
16
风格迁移增强
图像风格迁移（CycleGAN） · 文本风格迁移 · 跨域泛化
风格迁移增强CycleGAN
17
数据增强的自动化
AutoAugment在多模态上的应… · 搜索最优增强策略
数据增强的自动化AutoAugment
18
增强策略的公平性
避免增强引入偏见 · 确保不同群体数据均衡
增强策略的公平性避免增强引入偏见
19
数据增强与正则化
Dropout · Label Smoothing与数据…
数据增强正则化
20
评估增强效果
设计消融实验 · 评估指标（准确率 · 鲁棒性
评估增强效果设计消融实验
21
实战项目1
图文检索任务的数据增强（Flickr…
实战项目1Flickr
22
实战项目2
视觉问答（VQA）任务的数据增强策略…
实战项目2VQA
23
实战项目3
多模态情感分析的数据增强（CMU-M…
实战项目3CMU-M
24
实战项目4
视频理解任务的数据增强（Kineti…
实战项目4Kineti
25
大规模数据增强工程
分布式数据增强流水线 · 数据加载优化
大规模数据增强工…分布式数据增强流…
26
数据增强的存储与效率
在线增强 vs 离线增强的工程权衡
数据增强的存储效率
27
前沿趋势1
扩散模型在数据增强中的最新应用
前沿趋势1扩散模型
28
前沿趋势2
大语言模型驱动的动态数据增强
前沿趋势2大语言模型驱动的…
29
前沿趋势3
自监督学习与数据增强的深度融合
前沿趋势3自监督学习
30
课程总结与展望
数据增强的未来方向 · 如何持续提升模型泛化性
课程总结数据增强的未来方…