VIP20
本课程属于：021-多模态感知算法 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

跨模态检索系统搭建与效果优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
跨模态检索概述
什么是跨模态检索 · 应用场景（图文搜索 · 视频理解）
跨模态检索概述什么是跨模态检索
02
特征提取基础
图像特征（CNN/ResNet） · 文本特征（Word2Vec/BERT… · 音频特征（MFCC）的提取原理与工具
特征提取基础CNN/ResNet
03
经典模型架构
从协同嵌入（Co-Embedding… · 双塔模型与单塔模型的对比
经典模型架构Co-Embedding
04
数据准备与预处理
多模态数据集（MSCOCO · Flickr30k · AudioSet）的下载
数据准备预处理
05
PyTorch环境搭建
CUDA配置 · Dataloader编写 · 多模态数据批处理技巧
PyTorch环境搭建
06
图像编码器实战
使用预训练ResNet50提取图像特… · 冻结与微调策略
图像编码器实战ResNet50
07
文本编码器实战
使用预训练BERT提取文本特征 · Tokenization与Paddi…
文本编码器实战BERT
08
协同嵌入层设计
全连接映射 · 归一化（L2 Norm） · 相似度计算（余弦相似度）
协同嵌入层设计全连接映射
09
损失函数详解
对比损失（Contrastive L… · 三元组损失（Triplet Loss… · NCE损失
损失函数详解Contrastive
10
训练循环实现
Epoch循环 · Batch采样 · 梯度反向传播与优化器选择（Adam）
训练循环实现Epoch
11
评估与验证
计算Recall@K · mAP · 构建验证集与测试集流程
评估验证
12
模型保存与加载
Checkpoint机制 · 最佳模型保存策略 · 断点续训
模型保存加载
13
图文检索实战（上）
搭建Image-Text Match… · 数据加载与训练
图文检索实战Image-Text
14
图文检索实战（下）
模型评估 · 可视化检索结果（Top-K展示）
图文检索实战模型评估
15
视频-文本检索
视频帧采样（均匀采样/关键帧） · 3D CNN与Transformer…
视频文本检索
16
音频-文本检索
音频特征提取（VGGish） · 时序池化与对齐
音频文本检索
17
跨模态检索中的负样本挖掘
Hard Negative Mini… · Batch Hard策略
跨模态检索负样本挖掘
18
模型优化技巧（上）
学习率调度（Cosine Annea… · 权重衰减 · Dropout
模型优化技巧Cosine
19
模型优化技巧（下）
数据增强（图像裁剪/翻转 · 文本回译） · 正则化
模型优化技巧数据增强
20
大规模检索加速
向量数据库（Faiss）的安装 · 索引构建（IVF · HNSW）
大规模检索加速Faiss
21
Faiss实战
将图像/文本特征向量化入库 · 实现毫秒级检索
Faiss将图像
22
多模态预训练模型（上）
CLIP原理详解 · 模型架构与训练数据
多模态预训练模型CLIP
23
多模态预训练模型（下）
使用 CLIP进行零样本…
多模态预训练模型
24
模型蒸馏与轻量化
知识蒸馏（KD）原理 · 将大模型压缩为轻量模型
模型蒸馏轻量化
25
跨模态检索系统部署
Flask/FastAPI搭建RES… · Docker容器化
跨模态检索系统部…Flask/FastAP…
26
前端交互界面
使用Gradio/Streamlit… · 实时展示结果
前端交互界面Gradio/Strea…
27
效果调优实战（上）
分析Bad Case · 调整Margin与温度系数
效果调优实战Bad
28
效果调优实战（下）
集成多特征 · 重排序（Reranking）策略
效果调优实战集成多特征
29
前沿方向
细粒度跨模态检索 · 跨模态生成检索 · 弱监督学习
前沿方向细粒度跨模态检索
30
课程总结与项目答辩
完整项目梳理 · 常见面试题解析 · 未来学习路径
课程总结项目答辩