4. 联合标注核心概念
多传感器联合标注不是把摄像头、激光雷达、毫米波雷达、IMU、GNSS 的数据各自标一遍再拼在一起，而是要在多个模态之间建立可核验的对应关系。跨模态对齐、时空一致性、标注粒度、标注本体与标签体系，构成了联合标注的四根支柱：前两者解决“对得上、对得准”，后两者解决“标什么、怎么命名”。理解这四个概念，才能设计出可复用、可质检、可训练的数据集。
一、跨模态对齐：先解决“谁是谁”
跨模态对齐的核心是建立不同传感器观测之间的身份映射。摄像头给出二维框，激光雷达给出三维点云簇，毫米波雷达给出距离与速度航迹，三者必须指向同一个物理目标，才能形成一条联合标注记录。对齐通常分三步：外参标定把各传感器统一到车体坐标系；时间戳对齐把不同频率的帧归并到同一时间窗口；目标关联用空间重叠、运动一致性或特征相似度把候选目标绑定为同一实例。
工程上常用“投影 + 交并比 + 运动预测”做关联。例如把点云簇投影到图像平面，与二维框计算 IoU，再结合雷达速度做门限筛选。关联结果要写入统一的实例 ID，后续所有模态的标注都引用这个 ID，避免各标各的。
二、时空一致性：对得上还要对得准
时空一致性是可量化的质量指标。时间上，要求各传感器数据在采集时具备硬件同步或软件插值，时间偏差控制在任务允许范围内；空间上，要求同一目标在不同模态中的位置投影残差小于阈值。若相机与激光雷达外参有偏差，图像框与点云簇会系统性错位，标注员就会把不同目标关联到一起。
三、标注粒度：标到多细才够用
标注粒度决定标签的表达能力和标注成本。粒度太粗，模型学不到细节；粒度太细，标注成本高且一致性差。选择粒度要同时考虑任务需求、传感器分辨率和下游模型结构。例如 3D 检测通常用三维框，语义分割用逐点或逐像素标签，行为预测则需要序列级轨迹。
| 粒度层级 | 典型形式 | 适用任务 | 成本与一致性 |
|---|---|---|---|
| 实例级 | 2D/3D 框、实例 ID | 目标检测、跟踪 | 成本低，一致性较高 |
| 部件级 | 车门、车轮、车灯关键点 | 细分类、姿态估计 | 成本中，需明确部件定义 |
| 像素/点级 | 语义分割掩码、逐点标签 | 可行驶区域、点云分割 | 成本高，边界一致性难 |
| 序列级 | 轨迹、行为片段、事件区间 | 行为预测、场景理解 | 成本中高，依赖时序对齐 |
四、标注本体与标签体系：统一语言
标注本体是对标注对象、属性、关系的结构化定义，标签体系则是本体在具体数据集中的落地词表。没有统一本体，不同批次、不同供应商的数据就会出现“轿车”“小汽车”“car”混用，导致训练标签噪声。一个可用的标签体系应包含：类别层级、属性维度、关系类型、忽略区域规则和版本号。
{
"ontology_version": "v1.3",
"classes": {
"vehicle": {
"children": ["car", "truck", "bus", "trailer"],
"attributes": ["color", "orientation", "motion_state"]
},
"pedestrian": {
"children": ["adult", "child"],
"attributes": ["pose", "carrying_object"]
}
},
"relations": ["following", "cut_in", "overtaking"],
"ignore_rules": ["occluded_gt_80pct", "out_of_roi"]
}五、案例：路口联合标注的一次复盘
某路口数据集在训练后发现车辆漏检集中在右转区域。复盘发现：相机与激光雷达外参在俯仰方向有 0.8° 偏差，导致远处车辆的点云簇投影到图像后偏移约 12 像素，关联阶段把两辆车合并成一个实例，标注时只保留了一个框。修复外参并重新关联后，漏检率下降。这个案例说明：跨模态对齐和时空一致性不是标注前的“准备工作”，而是标注质量的一部分。
总结来看，跨模态对齐解决身份映射，时空一致性解决基准统一，标注粒度解决表达深度，标注本体与标签体系解决语义统一。四者共同决定联合标注数据集能否被模型有效学习，也决定标注工程能否规模化复用。