01
传感器基础与抓取概述
为什么传感器对抓取如此重要？常见传感器类型（力、触觉、视觉、距离）简介。
基础概述
02
力传感器原理与选型
应变片原理、六维力传感器、选型关键参数（量程、精度、采样率）。
力传感选型
03
触觉传感器原理与选型
电容式、压阻式、光学式触觉传感器，空间分辨率与灵敏度。
触觉分辨率
04
视觉传感器原理与选型
2D相机、3D深度相机（结构光、ToF、双目），分辨率与帧率。
视觉3D
05
距离传感器原理与选型
激光雷达、超声波、红外，测距范围与精度。
距离激光
06
传感器数据采集与滤波
ADC采样、低通滤波、卡尔曼滤波基础，数据同步。
滤波卡尔曼
07
抓取前的物体感知
基于视觉的物体检测（YOLO）、位姿估计（ICP），点云处理基础。
YOLO点云
08
抓取点规划
基于力闭合的抓取点计算，摩擦锥约束，抓取质量度量。
规划力闭合
09
力/力矩反馈控制
阻抗控制基础，力位混合控制，基于力反馈的柔顺抓取。
阻抗柔顺
10
触觉反馈控制
滑动检测算法，基于触觉的抓取力调整，防止物体滑落。
滑动防滑
11
视觉伺服控制
眼在手上（Eye-in-Hand）与眼在手外（Eye-to-Hand），图像雅可比矩阵。
视觉伺服雅可比
12
多传感器融合
扩展卡尔曼滤波（EKF）融合力与视觉数据，置信度评估。
EKF融合
13
抓取失败检测
基于力/力矩阈值的失败判断，基于视觉的异常检测（如物体掉落）。
异常阈值
14
抓取失败恢复策略
重新规划抓取点，调整抓取力，切换传感器模式。
恢复重规划
15
自适应抓取策略
基于强化学习的抓取参数调整，Q-learning在抓取中的应用。
强化学习Q-learning
16
传感器标定
力传感器零点与温漂标定，相机内参外参标定，手眼标定。
标定手眼
17
硬件集成与通信
ROS2基础，传感器驱动编写（I2C/SPI/UART），实时性要求。
ROS2驱动
18
抓取系统软件架构
模块化设计，状态机管理（IDLE、DETECT、GRASP、LIFT、RELEASE）。
状态机架构
19
案例1：精密装配抓取
基于力传感器的精密装配抓取（如芯片插入）。
案例装配
20
案例2：易碎品抓取
基于触觉传感器的易碎品抓取（如鸡蛋、玻璃杯）。
易碎品触觉
21
案例3：随机堆叠物体抓取
基于视觉的随机堆叠物体抓取（如仓库分拣）。
堆叠分拣
22
案例4：复杂形状物体抓取
多传感器融合的复杂形状物体抓取（如工具、玩具）。
复杂形状融合
23
抓取数据集构建
使用ROS bag记录传感器数据，数据标注（成功/失败标签）。
数据集标注
24
模型训练与部署
使用Python训练抓取成功预测模型（随机森林/简单神经网络），ONNX部署。
ONNX预测
25
实时性能优化
传感器数据降采样，算法轻量化（模型剪枝），多线程处理。
优化轻量化
26
安全与冗余设计
传感器故障检测，紧急停止逻辑，力/力矩安全阈值。
安全冗余
27
测试与验证
单元测试（传感器读数），集成测试（完整抓取流程），A/B测试。
测试A/B
28
调试工具与技巧
使用rqt_plot可视化传感器数据，使用rviz调试视觉，日志分析。
调试rviz
29
常见问题与避坑
传感器噪声处理不当、标定不准导致抓取失败、通信延迟导致丢包。
避坑经验
30
课程总结与展望
当前技术局限，未来趋势（灵巧手、触觉皮肤、具身智能）。
总结具身智能