所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

对比学习与多模态自监督预训练

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · 对比学习与多模态自监督预训练的整体定…
课程导入学习目标
02
机器学习基础回顾
监督学习 · 无监督学习 · 自监督学习的基本概念与区别
机器学习基础回顾监督学习
03
自监督预训练概述
自监督预训练的任务设计 · pretext task 与 dow… · 以及典型应用场景
自监督预训练概述自监督预训练的任…
04
对比学习基础
对比学习的基本思想 · 正负样本定义 · 损失函数（如 InfoNCE）与核心…
对比学习基础对比学习的基本思…
05
经典对比学习框架（一）
SimCLR 的架构 · 数据增强策略 · 温度系数的作用
经典对比学习框架SimCLR
06
经典对比学习框架（二）
MoCo 的动量更新与动态字典机制 · 与 SimCLR 的对比及优缺点分析
经典对比学习框架MoCo
07
经典对比学习框架（三）
BYOL 与 SimSiam 的非负… · 预测头与 stop-gradient…
经典对比学习框架BYOL
08
对比学习中的负样本处理
负样本采样策略 · 困难负样本挖掘 · 以及无负样本方法的原理
对比学习负样本处理
09
对比学习的数据增强
图像 · 文本 · 音频等模态的增强策略
对比学习的数据增…图像
10
多模态基础
多模态数据的类型（图像-文本 · 视频-音频等） · 对齐与融合的基本概念
多模态基础多模态数据的类型
11
多模态自监督预训练任务
跨模态预测 · 对比对齐 · 掩码重建等任务设计
多模态自监督预训…跨模态预测
12
CLIP 模型详解
双塔结构 · 对比学习目标 · 训练数据与 zero-shot 迁移…
CLIP模型详解
13
多模态对比学习进阶
ALIGN · FILIP · Florence 等模型的改进点与性…
多模态对比学习进…ALIGN
14
多模态预训练中的模态对齐
全局对齐与局部对齐 · 细粒度对比学习（如 GLIP · X-VLM）
多模态预训练模态对齐
15
多模态融合与编码器设计
单流与双流架构 · Transformer 在多模态中的… · VisualBERT）
多模态融合编码器设计
16
跨模态生成与对比学习
利用对比学习提升生成模型（如 DAL… · Stable Diffusion）的…
跨模态生成对比学习
17
视频与音频多模态自监督
VideoCLIP · AudioCLIP 等模型 · 以及时间维度上的对比学习
视频音频多模态自监督
18
图数据与对比学习
图对比学习（GraphCL · GRACE）的基本方法 · 以及图与文本/图像的多模态扩展
图数据对比学习
19
对比学习在 NLP 中的应用
SimCSE · ConSERT 等句子表示方法 · 以及对比学习在预训练语言模型中的融合
NLP对比学习
20
对比学习在计算机视觉中的应用
目标检测 · 分割 · 跟踪等下游任务中的对比学习微调与适配
对比学习计算机视觉
21
多模态预训练中的挑战
数据噪声 · 模态缺失 · 对齐困难
多模态预训练挑战
22
对比学习的理论分析
对比损失的信息论解释 · 表示一致性 · 维度坍缩问题及缓解方法
对比学习的理论分…对比损失的信息论…
23
对比学习与自监督预训练的评估方法
线性探测 · 微调 · zero-shot 评估
对比学习自监督预训练的评…
24
实战项目（一）
使用 PyTorch 实现 SimC…
实战项目PyTorch
25
实战项目（二）
使用 HuggingFace 实现… · 并在小型数据集上训练与 zero-s…
实战项目HuggingFace
26
实战项目（三）
基于 MoCo 或 BYOL 进行视… · 并在下游动作识别任务中微调
实战项目MoCo
27
常见问题与调试技巧
训练不收敛 · 表示退化 · 负样本过多导致显存不足
常见问题调试技巧
28
前沿进展与未来方向
MAE · BEiT 等掩码自编码与对比学习的结… · 以及大模型时代的自监督预训练趋势
前沿进展未来方向
29
综合案例
设计一个多模态检索系统 · 利用对比学习预训练模型实现图文互检 · 并评估性能
综合案例设计一个多模态检…
30
课程总结与进阶路径
核心知识回顾 · 学习资源推荐 · 以及从科研到工业应用的实践建议
课程总结进阶路径