一、跨模态检索概述

跨模态检索，说白了就是让计算机理解不同模态数据之间的语义关联。比如你给一张猫的图片，系统能返回"猫在睡觉"这样的文字描述；或者你输入"夕阳下的海滩"，系统能给你找出对应的照片和视频片段。

我刚开始接触这个方向时，觉得这不就是"以图搜图"的升级版吗？后来踩了不少坑才明白——跨模态的核心难点在于"语义鸿沟"。图像是像素矩阵，文本是离散符号，视频是时空序列，这三种东西在底层表示上完全不搭边。怎么让它们在一个统一的语义空间里对齐，这才是真功夫。

1.1 什么是跨模态检索

定义其实不复杂。给定一个查询（Query），系统从另一个模态的数据库中找出语义最匹配的结果。举个例子：

• 文本→图像：输入"穿红色连衣裙的女孩"，返回相关图片
• 图像→文本：输入一张照片，返回描述性文字
• 视频→文本：输入一段视频，返回内容摘要或关键帧描述

嗯，这里要注意——跨模态检索和单模态检索最大的区别在于：查询和检索对象属于不同模态。你拿一张图去搜相似的图，那是单模态；你拿一张图去搜对应的文字描述，这才是跨模态。

1.2 应用场景

我这些年参与过的项目里，跨模态检索最常见的落地场景有三个：

图文搜索

这是最成熟的方向。电商平台里"以图搜同款"、搜索引擎里"图片搜文字描述"、设计素材网站里"找风格相似的配图"——背后都是跨模态检索。我记得有个电商客户，他们的需求是：用户拍一张街拍，系统能返回相似款式的商品链接。难点在于街拍图和商品图的光照、角度差异很大，光靠视觉特征根本不够，必须结合文本标签做联合建模。

视频理解

视频比图片多了一个时间维度，复杂度直接翻倍。常见的需求包括：

• 输入一段文字描述，从视频库里找到对应片段
• 输入一个动作关键词，定位视频中该动作出现的时刻
• 输入一段视频，自动生成文字摘要

我曾经做过一个安防项目，要求从24小时监控视频中检索"有人摔倒"的片段。一开始我们只用了视觉特征，结果把"蹲下系鞋带"也误检了。后来加入文本语义对齐，才把误报率降下来。

跨模态推荐

这个方向比较新，但潜力很大。比如音乐App里，你上传一张"雨天窗边"的照片，系统推荐对应的纯音乐；或者你写一段心情文字，系统推荐匹配的短视频。本质上也是跨模态检索——把用户输入映射到内容库的语义空间里。

1.3 技术挑战

做跨模态检索，绕不开这几个坑：

1.4 评价指标

评价一个跨模态检索系统好不好，光靠"感觉"不行。业界通用的指标有两个：

Recall@K

这个指标衡量的是：在返回的前K个结果中，有多少比例包含了正确答案。公式很简单：

Recall@K = (前K个结果中相关结果数) / (数据库中所有相关结果总数)

举个例子：数据库里有10张"猫"的图片，你检索"猫"，系统返回了20张图。如果前10张里有8张是猫，那Recall@10 = 8/10 = 80%。

我个人习惯用Recall@1、Recall@5、Recall@10三个值一起看。Recall@1代表"第一眼准不准"，Recall@10代表"容错能力"。如果Recall@1低但Recall@10高，说明模型能找到相关结果，但排序能力不行。

mAP (Mean Average Precision)

mAP比Recall更严格——它同时考虑了"准不准"和"排得好不好"。计算分两步：

1. 对每个查询，计算它的Average Precision（AP）
2. 对所有查询的AP取平均，得到mAP

AP的计算方式：每遇到一个相关结果，就计算当前位置的精确率，然后取平均。你想想看——如果相关结果都排在前面，AP就高；如果相关结果分散在很后面，AP就低。

1.5 知识体系总览

这一章的内容比较多，我画了一张结构图帮你理清脉络：

这张图把本章的核心知识点串起来了。从上往下看：先理解定义，再看应用场景，然后了解技术挑战，最后掌握评价指标。后面的章节会沿着这个脉络逐步深入。