📚 课程目录第1章课程导入

1. 课程导入

欢迎进入《灵巧手视觉抓取与手眼协同工程》课程。本课程面向希望把“看见目标”真正转化为“稳定抓取”的工程师与研究者，围绕灵巧手、视觉感知、手眼标定、抓取规划与闭环控制五大主线展开。学完本课程，你应当能够独立搭建一套从相机采集、目标识别、位姿估计、抓取合成到执行反馈的完整链路，并能定位其中最常见的误差来源。

一、学习目标：从“能看见”到“抓得稳”

本课程的学习目标分为四个层次。第一层是感知层：理解RGB、RGB-D、点云与触觉信号的基本特性，掌握目标检测与6D位姿估计的基本方法。第二层是标定层：理解手眼标定的数学本质，能完成眼在手与眼在外两种配置的标定与验证。第三层是规划层：掌握抓取位姿生成、抓取质量评估与避障路径规划。第四层是执行层：理解力位混合控制、阻抗控制与触觉反馈在灵巧手中的作用，能构建闭环抓取系统。

核心能力目标：给定一个未知物体与一台带深度相机的灵巧手，你能在30分钟内完成标定检查、目标定位、抓取位姿生成与一次成功抓取，并能解释失败原因。

二、核心概念：五个必须建立的心智模型

本课程反复出现五个核心概念，建议在后续章节中不断回看。第一，手眼关系：相机坐标系与机械手基座/末端之间的刚体变换，是所有视觉抓取的前提。第二，抓取位姿：由接近方向、夹持点、手腕姿态共同定义的六自由度目标。第三，抓取质量：常用力封闭、形封闭、抗扰动能力等指标衡量。第四，视觉伺服：把图像误差直接映射为关节或末端速度的闭环方法。第五，不确定性：标定误差、分割误差、点云噪声与物体滑动共同构成抓取失败的主要来源。

三、整体知识框架与学习路径

课程按“感知—标定—规划—执行—系统集成”推进。前四章建立视觉与标定基础，中间章节深入抓取合成与运动规划，后段聚焦力控、触觉与真实系统调优。建议的学习顺序是：先跑通一条最小可用的抓取链路，再逐段替换为更精确的模块。下表给出各阶段的关键产出与验证方式。

阶段	核心内容	关键产出	验证方式
感知基础	相机模型、深度图、点云滤波	可用的目标点云与位姿	重投影误差 < 3 px
手眼标定	AX=XB、眼在手/眼在外	手眼变换矩阵	标定板重投影与抓取验证
抓取规划	抓取位姿、质量评估、避障	可执行抓取轨迹	仿真成功率与碰撞检查
执行控制	力位混合、阻抗、触觉	稳定抓取与放置	滑动检测与力跟踪误差

四、典型应用场景与最小示例

灵巧手视觉抓取已广泛用于物流分拣、精密装配、服务机器人与危险环境作业。以无序抓取为例，典型流程是：深度相机拍摄料箱，分割出目标物体，估计其6D位姿，经手眼矩阵变换到机械手基座坐标系，生成抓取位姿并规划路径，最后通过触觉反馈确认夹持稳定。下面是一段伪代码，展示主循环结构。

for each frame:
    rgb, depth = camera.capture()
    mask = segment(rgb, target_class)
    pose_cam = estimate_6d_pose(rgb, depth, mask)
    pose_base = T_base_cam @ pose_cam
    grasp = plan_grasp(pose_base, gripper_model)
    if grasp.quality < threshold:
        continue
    trajectory = plan_motion(grasp)
    execute(trajectory)
    if tactile.slip_detected():
        adjust_force()

建议在第一周就搭建“相机—机械手—标定板”的最小实验台，哪怕只完成一次平面抓取，也能帮助你建立对坐标系与误差传递的直观感受。

五、常见误区与复盘方法

初学者最常见的误区有三类。第一，跳过标定验证：标定完成后未做重投影或抓取验证，导致后续所有误差都被误判为算法问题。第二，把开环当闭环：只依赖一次视觉定位，忽略执行过程中的滑动与形变。第三，忽视数据质量：点云噪声、遮挡与反光会直接破坏位姿估计。复盘时建议记录每次抓取的输入图像、估计位姿、实际抓取结果与失败类型，形成可回灌的失败样本库。

不要在没有验证手眼矩阵的情况下调参抓取算法。坐标系错误会表现为“算法怎么调都不对”，优先用标定板或已知物体做一次端到端验证。

本章建立了课程的整体地图：感知、标定、规划、执行四条主线，以及贯穿始终的闭环思想。接下来你将逐步深入每个模块，最终能够独立设计并调试一套灵巧手视觉抓取系统。