4、状态空间设计：视觉输入处理、力觉反馈融合、关节角度编码
状态空间设计，说白了就是告诉机器人：「你现在是什么情况？」
你想想看，如果连自己手在哪儿、抓没抓住东西都不知道，那还谈什么策略学习？我这些年踩过的坑，十有八九都跟状态设计有关。不是信息不够，就是噪声太大，再不然就是维度爆炸。
4.1 视觉输入处理：别让像素淹死你
视觉是抓取最重要的信息来源。但原始图像动辄几十万像素，直接扔进网络？我试过，训练慢得像蜗牛爬。
核心思路：降维 + 特征提取
我个人习惯用深度相机（比如 RealSense 或 Kinect），输出 RGB-D 四通道数据。处理流程如下：
- 裁剪与缩放：只保留机械臂工作空间区域，缩放到 64x64 或 128x128。
- 归一化：像素值除以 255，让数据落在 [0,1] 区间。
- 数据增强：随机旋转、平移、加噪声。我遇到过仿真环境里训练得好好的，一到真实场景就崩——后来发现是没加光照变化。
避坑指南：我曾经把整张 640x480 图像直接塞进网络，结果显存爆了不说，训练了三天策略完全不收敛。后来改成 64x64 的深度图，效果反而更好。记住：不是像素越多越好，是有效信息越多越好。
视觉编码的常见方式有两种：
| 方法 | 适用场景 | 我的经验 |
|---|---|---|
| CNN 特征提取 | 复杂背景、多物体 | 效果好，但计算量大，需要 GPU |
| 手工特征（如抓取矩形） | 简单场景、实时性要求高 | 我早期项目用过，稳定但泛化差 |
4.2 力觉反馈融合：摸到才算数
视觉能看到物体，但抓没抓住？只有力觉知道。
我记得有一次，机器人「看」起来抓得很准，但一抬起来就掉了。为什么？因为视觉精度有限，实际接触点偏了。力觉反馈就是用来补这个短板的。
力觉信号怎么用？
- 六维力/力矩传感器：安装在腕部，输出 Fx, Fy, Fz, Tx, Ty, Tz。
- 触觉传感器：安装在指尖，输出接触点位置和压力分布。
- 关节力矩：通过电机电流估算，便宜但精度低。
我建议把力觉信号做如下预处理：
# 力觉信号归一化示例
def normalize_force(force_raw, max_force=50.0):
# 限幅 + 归一化到 [-1, 1]
force_clipped = np.clip(force_raw, -max_force, max_force)
force_norm = force_clipped / max_force
return force_norm
小技巧：力觉信号噪声很大，尤其是电机启停瞬间。我习惯加一个低通滤波（截止频率 5-10Hz），效果立竿见影。
融合方式：视觉和力觉是异构数据，不能简单拼接。我常用的做法是：
- 视觉特征经过 CNN 提取成 128 维向量。
- 力觉信号经过 MLP 映射成 32 维向量。
- 两者拼接成 160 维的状态向量。
嗯，这里要注意：力觉的采样频率通常比视觉高（1000Hz vs 30Hz），需要做时间对齐。我一般用最近邻插值，简单够用。
4.3 关节角度编码：别忽略几何约束
关节角度是机器人最原始的状态信息。但直接使用原始角度？我踩过这个坑。
为什么不能直接用原始角度？
因为角度是周期性的。0° 和 360° 在数值上差 360，但在物理上是同一个位置。神经网络不懂这个，它会认为这是两个完全不同的状态。
解决方案：正弦/余弦编码
# 关节角度编码
def encode_joint_angle(theta):
# theta 是弧度
sin_theta = np.sin(theta)
cos_theta = np.cos(theta)
return np.array([sin_theta, cos_theta])
这样每个关节用 2 个值表示，既保留了角度信息，又消除了周期性歧义。一个 6 轴机械臂，关节状态就是 12 维向量。
注意：关节速度也很重要。我建议把关节角速度也编码进去，同样用正弦/余弦方式。否则策略学不会「减速接近」这种精细操作。
4.4 状态空间的整体设计
把上面三部分合起来，一个典型的状态空间长这样：
状态向量维度 = 视觉特征(128) + 力觉特征(32) + 关节编码(12) + 关节速度(12)
= 184 维
我见过有人把状态堆到 500 维以上，结果训练极其困难。其实 184 维已经够用了，关键是每个维度都要有物理意义。
我的建议：刚开始做抓取策略时，先别追求复杂。从视觉+关节角度开始，跑通后再加力觉。我见过太多人一上来就搞多模态融合，结果 debug 到崩溃。
最后说一句：状态空间设计没有标准答案。同一个任务，换一个机器人、换一个场景，可能就要重新设计。关键是理解每个传感器能提供什么信息，以及这些信息如何互补。
可可精品资料库