📚 课程目录第2章空间关系基础

2. 空间关系基础

在机器人场景理解中，空间关系是连接“物体识别”与“场景推理”的桥梁。仅知道图像里有杯子、桌子和人还不够，机器人还需要知道杯子在桌子上、人在桌子后面、杯子离机器人约0.8米。空间关系为抓取规划、导航避障、人机交互和任务决策提供结构化约束。本节从分类体系、表示方法、常见数据集和评价指标四个层面建立空间关系的基础框架。

一、空间关系的三大分类：拓扑、方向、距离

空间关系通常分为三类，它们回答的问题不同，适用场景也不同。

拓扑关系：描述物体之间的连接、包含、相交等定性关系，如“在……内”“在……上”“接触”“分离”。拓扑关系对尺度变化和视角变化较鲁棒，适合粗粒度场景理解。
方向关系：描述物体之间的方位，如“左”“右”“前”“后”“上”“下”“旁边”“之间”。方向关系依赖参考系，通常以观察者、相机或某个参考物体为基准。
距离关系：描述物体之间的远近或度量距离，如“近”“远”“0.5米”“接触”。距离关系可以是定性的，也可以是定量的，常用于抓取和安全判断。

三类关系并非孤立。例如“杯子在桌子上的左侧，距离机器人约0.8米”同时包含拓扑、方向和距离信息。实际系统中常将它们组合成三元组或关系图。

核心记忆：拓扑回答“是否相连/包含”，方向回答“在哪个方位”，距离回答“有多远”。三者共同构成空间关系的完整描述。

二、空间关系的表示方法

空间关系的表示方法决定了机器人如何存储、查询和推理这些信息。常见方法包括：

三元组表示：(主体, 关系, 客体)，如 (杯子, 在……上, 桌子)。这是场景图的基本单元，简洁且易于扩展。
关系矩阵：用矩阵存储每对物体之间的关系，适合小规模场景的批量推理。
场景图：节点表示物体，边表示空间关系，可叠加属性、类别和置信度，是当前主流表示。
向量/嵌入表示：将物体和关系映射到向量空间，通过距离或相似度进行推理，适合深度学习模型。
定性空间演算：如RCC-8、区域连接演算、方向关系代数，用于形式化推理和一致性检查。

下面用一张结构关系图展示空间关系从“原始感知”到“场景图表示”再到“推理应用”的完整链路，同时体现三类关系在其中的位置。

三、常见数据集与评价指标

空间关系研究依赖标注数据集和统一评价指标。下表列出常见数据集及其侧重点。

数据集	场景类型	空间关系标注	典型用途
Visual Genome	自然图像	区域描述、关系三元组	场景图生成、关系检测
GQA	合成+真实	空间关系问答	视觉推理、关系问答
VRD	室内图像	100类关系标注	关系检测基准
SpatialSense	室内/室外	方向、距离、拓扑	空间关系推理
3DSSG	3D点云	3D场景图关系	机器人3D场景理解

评价指标方面，常用关系检测和场景图生成两类指标：

Recall@K：前K个预测中命中真实关系的比例，衡量召回能力。
mAP：平均精度，综合衡量不同关系类别的检测质量。
Top-K Accuracy：关系分类正确的比例，常用于方向/距离分类。
SPICE / SPC：面向场景图与描述的一致性指标，评估结构匹配程度。
关系三元组F1：精确率和召回率的调和平均，适合不平衡关系类别。

四、案例：机器人抓取中的空间关系推理

假设机器人看到桌面上有一个杯子和一个盒子，需要抓取杯子。感知模块输出检测框后，空间关系模块构建如下关系：

(杯子, 在……上, 桌子)     拓扑关系
(杯子, 左侧, 盒子)         方向关系
(杯子, 距离, 机器人) = 0.8 m  距离关系
(盒子, 遮挡, 杯子)         拓扑/方向混合

推理模块根据“杯子在桌子上、未被遮挡、距离0.8米、位于盒子左侧”生成抓取候选位姿。如果距离关系判断为“过远”，则先导航靠近；如果拓扑关系判断为“被遮挡”，则先移开盒子。这说明三类关系在任务中协同工作。

实践建议：构建空间关系模块时，先明确任务需要哪类关系，再选择表示方法。抓取任务通常需要距离和拓扑，导航任务更依赖方向和拓扑，人机交互则三者都需要。

五、常见误区与复盘

误区1：把方向关系当成绝对方向。“左边”依赖参考系。以相机为参考和以机器人为参考，结果可能相反。必须显式定义参考系。

误区2：忽略距离的尺度变化。“近”在桌面场景可能是0.3米，在室外可能是5米。定性距离需要结合场景尺度归一化。

误区3：只用三元组而忽略置信度。真实感知存在噪声，关系应带置信度，否则错误关系会传播到推理结果。

误区4：评价指标与任务目标不一致。关系检测mAP高，不代表抓取成功率高。应结合下游任务指标联合评估。

复盘时建议检查三点：参考系是否统一、关系类别是否覆盖任务需求、评价指标是否与最终任务对齐。只有把分类、表示、数据和指标打通，空间关系才能真正服务于机器人场景推理。