VIP20
本课程属于：021-多模态感知算法 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

跨模态特征对齐与检索技术精讲

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
跨模态检索概述
什么是跨模态检索 · 应用场景（图文搜索 · 视频理解）
跨模态检索概述什么是跨模态检索
02
特征表示基础
单模态特征提取（图像CNN · 文本RNN/BERT） · 特征空间与度量学习基础
特征表示基础CNN
03
经典对齐方法
基于全局对齐（Canonical C… · CCA） · 基于局部对齐（注意力机制）
经典对齐方法Canonical
04
损失函数设计
对比损失（Contrastive L… · 三元组损失（Triplet Loss… · NCE损失
损失函数设计Contrastive
05
数据集与评估指标
常用数据集（Flickr30K · MS-COCO · MSRVTT）
数据集评估指标
06
图像-文本检索实战（上）
数据预处理（图像增强 · 文本分词） · 特征提取器搭建（ResNet + B…
图像文本检索实战
07
图像-文本检索实战（下）
模型训练（对比学习框架） · 评估与可视化（注意力热力图）
图像文本检索实战
08
视频-文本检索
视频特征提取（3D CNN · VideoSwin） · 时序建模（Temporal Atte…
视频文本检索
09
跨模态生成式检索
从检索到生成（CLIP + 扩散模型… · 基于文本的图像生成/编辑
跨模态生成式检索CLIP
10
细粒度跨模态检索
局部特征匹配（跨模态注意力） · 短语定位（Phrase Ground… · 指代分割（Referring Seg…
细粒度跨模态检索局部特征匹配
11
跨模态哈希
哈希学习基础 · 跨模态哈希方法（CMH · DCMH）
跨模态哈希哈希学习基础
12
零样本跨模态检索
零样本学习基础 · 利用CLIP/ViLD进行零样本检索 · 开放词汇检测
零样本跨模态检索零样本学习基础
13
跨模态知识蒸馏
教师-学生框架 · 跨模态蒸馏策略（特征级 · 关系级）
跨模态知识蒸馏教师
14
多模态预训练模型（上）
CLIP原理详解（对比学习 · 双塔结构） · ALIGN
多模态预训练模型CLIP
15
多模态预训练模型（下）
BLIP/BLIP2（视觉-语言理解… · Flamingo（少样本学习） · LLaVA（视觉指令微调）
多模态预训练模型BLIP/BLIP2
16
跨模态检索中的负样本挖掘
难负样本策略（Hard Negati… · 在线负样本构建 · 队列字典（MoCo思想）
跨模态检索负样本挖掘
17
模态缺失与鲁棒性
部分模态缺失下的检索 · 数据增强策略 · 模态Dropout
模态缺失鲁棒性
18
跨模态检索中的公平性与偏见
数据偏见分析 · 去偏方法（重加权 · 对抗训练）
跨模态检索公平性
19
大规模跨模态检索系统
索引构建（IVF · HNSW） · 分布式检索架构
大规模跨模态检索…IVF
20
跨模态检索在电商场景的应用
服装图文搜索 · 商品属性对齐 · 用户意图理解
跨模态检索电商场景的应用
21
跨模态检索在医疗场景的应用
医学影像-报告检索 · 跨模态疾病诊断辅助 · 隐私保护
跨模态检索医疗场景的应用
22
跨模态检索在安防场景的应用
行人重识别（文本-图像） · 跨摄像头追踪 · 事件检索
跨模态检索安防场景的应用
23
跨模态检索在社交媒体分析
多模态谣言检测 · 跨平台用户对齐 · 内容推荐
跨模态检索社交媒体分析
24
跨模态检索中的可解释性
注意力可视化 · 特征归因（Grad-CAM） · 概念激活向量（CAV）
跨模态检索可解释性
25
前沿趋势
多模态大语言模型（MLLM）与检索增… · 具身智能中的跨模态感知
前沿趋势MLLM
26
跨模态检索的对抗攻击与防御
对抗样本生成（FGSM · PGD） · 防御机制（对抗训练
跨模态检索的对抗…防御
27
跨模态检索的持续学习
灾难性遗忘问题 · 弹性权重巩固（EWC） · 记忆重放策略
跨模态检索的持续…灾难性遗忘问题
28
跨模态检索的模型压缩
量化（Quantization） · 剪枝（Pruning） · 知识蒸馏在检索中的应用
跨模态检索的模型…Quantization
29
跨模态检索的联邦学习
隐私保护下的分布式训练 · 异构客户端对齐 · 安全聚合
跨模态检索的联邦…隐私保护下的分布…
30
课程总结与项目实战
端到端跨模态检索系统搭建（从数据到部… · 未来研究方向展望
课程总结项目实战