VIP20
本课程属于：021-多模态感知算法 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多模态特征对齐从原理到调优实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
多模态学习概述
什么是多模态 · 典型应用场景（图文检索 · 视觉问答）
多模态学习概述什么是多模态
02
特征表示基础
单模态特征提取（图像CNN/ ViT · 文本BERT/ RoBERTa） · 特征维度与语义空间
特征表示基础CNN
03
对齐问题定义
特征对齐的数学形式化 · 度量学习视角 · 对比学习视角
对齐问题定义特征对齐的数学形…
04
经典对齐范式
双塔架构（Two-Tower） · 单塔架构（Cross-Attenti… · 混合架构
经典对齐范式Two-Tower
05
对比学习原理
InfoNCE损失函数 · 温度系数τ的作用 · 正负样本构建策略
对比学习原理InfoNCE
06
负样本挖掘
Batch内负样本 · MoCo队列机制 · 困难负样本（Hard Negativ…
负样本挖掘Batch
07
跨模态注意力机制
Cross-Attention原理 · 多头注意力在模态交互中的应用
跨模态注意力机制Cross-Attent…
08
模态融合策略
早期融合 · 晚期融合 · 中间融合
模态融合策略早期融合
09
对齐损失函数家族
Triplet Loss · NCE Loss · NT-Xent Loss
对齐损失函数家族Triplet
10
预训练-微调范式
CLIP原理详解 · BLIP模型架构 · ALBEF动量蒸馏
预训练微调范式
11
数据增强与模态扰动
文本回译 · 图像裁剪/颜色抖动 · 模态随机丢弃（Modality Dr…
数据增强模态扰动
12
评估指标
R@K（Recall@K） · MRR（Mean Reciproca… · N-Score
评估指标Recall
13
实战环境搭建
PyTorch · HuggingFace Transf… · CLIP开源库安装与验证
实战环境搭建PyTorch
14
数据准备
Flickr30K / COCO C… · 自定义DataLoader构建
数据准备Flickr30K
15
特征提取器实现
用ResNet提取图像特征 · 用BERT提取文本特征 · 特征归一化
特征提取器实现ResNet
16
双塔对齐模型搭建
Image Encoder + Te…
双塔对齐模型搭建Image
17
对比损失实现
手动实现InfoNCE · 温度系数调参实验
对比损失实现InfoNCE
18
训练循环编写
Epoch循环 · Batch循环 · 梯度累积
训练循环编写Epoch
19
模型评估脚本
计算R@1/5/10 · 可视化图文检索结果
模型评估脚本计算R@1
20
超参数调优
学习率 · Batch Size · 温度系数τ
超参数调优学习率
21
困难样本挖掘实战
实现Batch Hard策略 · 观察对齐质量提升
困难样本挖掘实战Batch
22
跨模态注意力实现
用PyTorch实现Cross-At… · 集成到模型中
跨模态注意力实现PyTorch
23
模态融合实验
对比Late Fusion与Cros…
模态融合实验Late
24
预训练模型微调
加载CLIP权重 · 冻结/解冻策略 · 下游任务适配
预训练模型微调CLIP
25
模型部署与推理优化
ONNX导出 · TensorRT加速 · 特征索引构建
模型部署推理优化
26
常见问题与调试
训练不收敛 · 模态坍塌（Modality Coll… · 负样本太少
常见问题调试
27
进阶方向
细粒度对齐（Region-Phras… · 视频-文本对齐 · 音频-文本对齐
进阶方向Region-Phras
28
前沿精读
CLIP · BLIP-2 · ImageBind的核心贡献与代码复…
前沿精读CLIP
29
项目实战
构建一个图文检索系统（含Web De… · A/B测试
项目实战Web
30
课程总结与学习路径
知识图谱回顾 · 推荐列表 · 持续学习建议
课程总结学习路径