VIP20
本课程属于：021-多模态感知算法 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

跨模态对齐与检索系统性能调优指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
跨模态检索概述
定义 · 应用场景（图文搜索 · 视频理解）
跨模态检索概述定义
02
特征提取基础
图像特征（CNN/ViT） · 文本特征（BERT/） · 音频特征（MFCC/CLAP）
特征提取基础CNN/ViT
03
对齐损失函数
对比损失（InfoNCE） · 三元组损失（Triplet Loss… · 排序损失（Ranking Loss）
对齐损失函数InfoNCE
04
数据准备与预处理
数据集构建（MSCOCO/Flick… · 数据清洗 · 数据增强策略
数据准备预处理
05
模型架构设计
双塔模型（Two-Tower） · 单塔模型（Cross-Attenti… · 混合模型
模型架构设计Two-Tower
06
训练策略优化
学习率调度（Warm-up/Cosi… · 梯度累积 · 混合精度训练
训练策略优化Warm-up/Cosi
07
负样本挖掘
随机负采样 · 困难负样本挖掘（Hard Negat… · 队列负样本（MoCo）
负样本挖掘随机负采样
08
评估指标
Recall@K · Mean Rank · MRR
评估指标Recall
09
推理加速
向量索引（IVF/FAISS） · 量化技术（PQ/Scalar Qua… · 近似最近邻搜索
推理加速IVF/FAISS
10
多模态融合
早期融合 · 晚期融合 · 注意力融合（Co-Attention…
多模态融合早期融合
11
跨模态知识蒸馏
教师-学生框架 · 特征级蒸馏 · 关系级蒸馏
跨模态知识蒸馏教师
12
零样本与少样本学习
CLIP范式 · 提示学习（Prompt Learni… · 适配器（Adapter）
零样本少样本学习
13
大规模分布式训练
数据并行 · 模型并行 · 流水线并行
大规模分布式训练数据并行
14
模型压缩与剪枝
结构化剪枝 · 非结构化剪枝 · 低秩分解
模型压缩剪枝
15
量化部署
INT8/FP16量化 · 动态量化 · 静态量化
量化部署INT8/FP16
16
在线服务优化
模型服务化（TensorRT/ONN… · 请求批处理 · 缓存策略
线服务优化TensorRT/ONN
17
长尾分布处理
重采样 · 重加权 · 类别平衡损失
长尾分布处理重采样
18
多语言跨模态
多语言BERT · 跨语言对齐 · 翻译增强
多语言跨模态BERT
19
视频-文本检索
帧采样策略 · 时序建模（Transformer/3… · 片段对齐
视频文本检索
20
音频-文本检索
音频事件检测 · 语音转文本 · 跨模态注意力
音频文本检索
21
跨模态生成检索
文本到图像生成（DALL-E） · 图像到文本生成（Captioning…
跨模态生成检索DALL-E
22
鲁棒性与安全性
对抗攻击防御 · 数据中毒检测 · 模型鲁棒性评估
鲁棒性安全性
23
可解释性分析
注意力可视化 · 特征归因 · 概念激活向量
可解释性分析注意力可视化
24
持续学习与增量更新
弹性权重巩固（EWC） · 记忆重放 · 正则化方法
持续学习增量更新
25
超参数调优
网格搜索 · 贝叶斯优化 · Hyperband
超参数调优网格搜索
26
日志与监控
训练日志（TensorBoard/W… · 性能监控 · 异常检测
日志监控
27
端到端系统搭建
从数据到部署的全流程 · CI/CD集成 · A/B测试
端到端系统搭建从数据到部署的全…
28
案例实战1
电商图文搜索系统调优（数据 · 模型 · 部署全链路）
案例实战1电商图文搜索系统…
29
案例实战2
医疗影像报告检索系统调优（领域适配 · 隐私保护）
案例实战2医疗影像报告检索…
30
前沿趋势与未来方向
多模态大模型（/Gemi… · 统一嵌入空间 · 具身智能检索
前沿趋势未来方向