1. 课程导入
机器人要在真实世界中完成抓取、装配、插拔、擦拭、分拣等任务，仅靠视觉往往不够。视觉擅长在远距离获取物体的位置、形状、颜色与语义信息，却难以直接判断接触时的力大小、表面摩擦、滑动趋势和材料软硬；触觉则恰好相反，它只在接触发生后提供高精度、局部但极其可靠的物理交互信息。视觉触觉融合机器人感知工程，研究的正是如何让这两类互补的感知模态在时间、空间和决策层面协同工作，使机器人从"看得见"走向"摸得准、抓得稳"。
学习目标
本课程围绕"感知—融合—决策—执行"的闭环展开，学完后应达到以下目标：
- 理解视觉与触觉的物理本质、数据形式与互补边界，能判断一个任务该以哪种模态为主。
- 掌握相机标定、手眼标定、触觉传感器标定与时空对齐的基本方法。
- 能设计并实现从原始图像、点云、触觉阵列信号到融合特征的完整处理链路。
- 熟悉早期融合、中期融合、晚期融合与基于注意力/图神经网络的深度融合策略。
- 能够针对抓取、插拔、表面识别等典型场景搭建可复现的融合感知原型。
核心概念
视觉触觉融合的根基在于两类信号的差异。视觉信号是稠密、非接触、全局的二维或三维阵列；触觉信号是稀疏、接触式、局部的时序序列。二者在空间分辨率、采样频率、噪声特性和语义层级上都不一致，因此融合的第一步不是"拼接"，而是时空对齐：把触觉点在机器人坐标系中的位置映射到视觉图像或点云上，并把两者的时间戳同步到同一时钟基准。
在此基础上，融合可分为三个层次。数据级融合直接合并原始信号，信息损失小但对配准精度要求极高；特征级融合分别提取视觉特征与触觉特征后再组合，是当前主流；决策级融合让两个模态各自给出判断再投票或加权，鲁棒性强但会丢失细粒度交互信息。理解这三层的取舍，是后续所有工程实现的判断依据。
整体框架
下图给出本课程贯穿始终的视觉触觉融合感知框架。它从物理世界出发，经双模态采集、时空对齐、特征提取与融合，最终输出抓取位姿、接触力与滑动状态，并反馈到控制与执行环节，形成闭环。
典型应用场景
视觉触觉融合并非只服务于实验室演示，它在多个真实场景中已成为刚需。下表列出四类典型任务及其对两种模态的依赖差异。
| 应用场景 | 视觉主要作用 | 触觉主要作用 | 融合关键点 |
|---|---|---|---|
| 杂乱物体抓取 | 识别目标、估计位姿、避障 | 判断是否夹稳、是否滑动 | 抓取前视觉引导，抓取后触觉校验 |
| 精密轴孔装配 | 粗定位孔位与姿态 | 感知接触力与微偏差 | 力位混合控制中的实时对齐 |
| 表面材质识别 | 提供颜色与纹理先验 | 提供硬度、摩擦、粗糙度 | 特征级融合提升分类鲁棒性 |
| 柔性线缆操作 | 跟踪线缆走向与形状 | 感知张力与夹持状态 | 时序融合预测形变与滑动 |
方法流程与最小示例
一个可运行的融合感知流程通常包含采集、标定、对齐、特征提取、融合与输出六个步骤。下面给出一个简化的参数配置示例，用于说明工程中需要显式管理的量。
# 视觉触觉融合感知配置示例
camera:
type: realsense_d435
resolution: [640, 480]
fps: 30
tactile:
sensor: gel_array_16x16
sample_rate: 100 # Hz
force_range: [0, 20] # N
calibration:
hand_eye: T_cam_tool.npy
tactile_to_tool: T_tac_tool.npy
fusion:
level: feature # data | feature | decision
sync_tolerance_ms: 10
feature_dim: 256
output:
grasp_pose: true
contact_force: true
slip_detection: true
注意 sync_tolerance_ms 与标定矩阵是融合能否成立的前提。若时间戳偏差超过容差，触觉信号会对应到错误的视觉帧；若手眼标定误差过大，触觉点会投影到物体之外，融合特征反而引入噪声。
常见误区与复盘
初学者最容易犯的错误有三类。第一，把融合等同于"把两路数据拼在一起"，忽略了坐标系与时间基准的统一，导致特征错位。第二，过度依赖视觉而把触觉当作事后报警器，只在抓取失败后才使用触觉，浪费了接触过程中的连续信息。第三，在数据量不足时直接上复杂深度网络，模型过拟合于特定物体，换一个场景就失效。