01
传感器融合概述
什么是传感器融合 · 为什么需要融合 · 应用领域：自动驾驶、机器人、工业自动化
基础概念
02
传感器基础
力/力矩、触觉、视觉、IMU · 传感器特性与选型
传感器硬件
03
坐标变换与刚体运动
坐标系 · 旋转矩阵 · 四元数 · 齐次变换 · 刚体运动学
数学运动学
04
卡尔曼滤波基础
状态空间模型 · 预测与更新 · 一维卡尔曼滤波实现
滤波估计
05
扩展卡尔曼滤波 (EKF)
非线性系统 · 雅可比矩阵 · 机器人定位应用
EKF非线性
06
无迹卡尔曼滤波 (UKF)
UT变换 · Sigma点 · UKF与EKF对比
UKF无迹
07
粒子滤波
蒙特卡洛 · 重要性采样 · 重采样 · 机器人定位
粒子滤波定位
08
多传感器融合架构
集中式 · 分布式 · 混合式 · 联邦滤波
架构系统
09
视觉传感器与图像处理
相机模型 · 预处理 · SIFT/SURF/ORB · 光流法
视觉特征
10
深度相机与点云处理
RGB-D原理 · 点云滤波 · ICP配准 · 点云分割
点云深度
11
力/力矩传感器与触觉传感
六维力传感器 · 触觉阵列 · 力信号滤波
力觉触觉
12
IMU与惯性导航
加速度计/陀螺仪 · 姿态解算 · 互补/Mahony滤波 · IMU预积分
IMU惯导
13
视觉-惯性融合 (VIO)
VIO架构 · 数据对齐 · 滑动窗口优化 · VINS-Mono
VIO融合
14
视觉-力觉融合
视觉引导抓取 · 力反馈装配 · 时序对齐 · 融合控制
视觉+力抓取
15
抓取规划基础
抓取构型 · 力封闭/形封闭 · 质量度量 · GraspIt!
规划抓取
16
基于学习的抓取检测
Cornell数据集 · GG-CNN · 抓取矩形表示
学习检测
17
抓取控制基础
位置控制 · 力控制 · 阻抗/导纳 · 混合力位
控制基础
18
阻抗控制与导纳控制
原理 · 参数整定 · 抓取应用
阻抗导纳
19
力反馈抓取控制
力/力矩反馈 · 力控策略 · 滑觉检测与重抓取
力反馈抓取
20
视觉反馈抓取控制
视觉伺服 (IBVS/PBVS) · 引导抓取 · 动态抓取
视觉伺服动态
21
视觉-力觉融合抓取控制
融合架构 · 任务优先级 · 切换/混合控制 · 鲁棒性
融合控制鲁棒
22
传感器融合在柔性抓取中的应用
柔性手爪 · 柔性传感器 · 自适应抓取
柔性自适应
23
传感器融合在双臂协作中的应用
双臂协调 · 力位协同 · 碰撞检测与规避
双臂协作
24
传感器融合在移动操作中的应用
移动底盘+机械臂 · SLAM+抓取 · 动态环境
移动操作
25
传感器融合在精密装配中的应用
柔顺装配 · 力位混合 · 视觉引导对位
装配精密
26
传感器融合在医疗机器人中的应用
手术力反馈 · 触觉反馈 · 视觉导航
医疗机器人
27
传感器融合在物流仓储中的应用
包裹分拣 · 码垛 · 无人叉车
物流仓储
28
传感器融合系统集成与调试
ROS驱动 · 数据同步 · 标定 · 调试工具
集成调试
29
传感器融合算法评估与优化
评估指标 · 数据集 · 算法优化技巧
评估优化
30
课程总结与未来展望
发展趋势 · 边缘计算 · 大模型与感知融合
总结前沿