01
力矩控制基础
什么是力矩控制？为什么需要力矩控制？力矩控制与位置控制、速度控制的区别。
基础概念
02
机器人动力学基础
牛顿-欧拉方程、拉格朗日方程、惯性矩阵、科里奥利力与离心力、重力项。
动力学建模
03
经典PID力矩控制
PID控制原理、力矩环PID设计、抗积分饱和、前馈补偿。
控制PID
04
阻抗控制入门
阻抗控制概念、质量-弹簧-阻尼模型、目标阻抗参数设计、力与位置的关系。
阻抗柔顺
05
导纳控制入门
导纳控制概念、与阻抗控制的区别、导纳控制器的实现、稳定性分析。
导纳交互
06
强化学习基础
马尔可夫决策过程(MDP)、状态、动作、奖励、策略、价值函数。
RLMDP
07
Q-Learning算法
Q表更新公式、探索与利用(ε-greedy)、Q-Learning收敛性、离散动作空间。
Q表离散
08
深度Q网络(DQN)
神经网络拟合Q函数、经验回放、目标网络、DQN变体(Double DQN, Dueling DQN)。
DQN深度
09
策略梯度方法
REINFORCE算法、策略梯度定理、基线技巧、Actor-Critic架构。
策略梯度Actor-Critic
10
PPO算法
PPO-Clip与PPO-Penalty、重要性采样、信任区域、PPO在连续控制中的应用。
PPO连续控制
11
SAC算法
最大熵强化学习、软策略迭代、温度参数自动调节、SAC在力矩控制中的优势。
SAC最大熵
12
DDPG算法
确定性策略梯度、Actor-Critic for连续动作、目标策略平滑正则化、探索噪声。
DDPG连续
13
TD3算法
双Q网络、延迟策略更新、目标策略平滑、与DDPG的对比。
TD3双Q
14
状态空间设计
关节角度、角速度、末端位置、力/力矩传感器数据、历史状态堆叠。
状态观测
15
动作空间设计
关节力矩指令、动作范围限制、动作平滑约束、动作空间归一化。
动作力矩
16
奖励函数设计
任务奖励(位置跟踪、力跟踪)、惩罚项(能耗、冲击、奇异位形)、稀疏奖励与密集奖励。
奖励设计
17
仿真环境搭建
PyBullet/MuJoCo/Isaac Gym选择、机器人URDF导入、力矩控制接口、仿真步长设置。
仿真环境
18
环境交互接口
Gymnasium标准接口、reset()、step()、render()、自定义环境封装。
Gym接口
19
训练流程与超参数
学习率、批次大小、网络结构、折扣因子、GAE参数、训练稳定性监控。
超参数训练
20
策略网络架构
MLP、LayerNorm、激活函数选择、输出层设计(力矩范围映射)、残差连接。
网络架构
21
值函数网络架构
双Q网络设计、值函数与优势函数、输入特征处理、网络深度与宽度。
值函数双Q
22
归一化与预处理
观测归一化(RunningMeanStd)、奖励缩放、梯度裁剪、正交初始化。
归一化预处理
23
域随机化
动力学参数随机化、观测噪声注入、延迟注入、提升策略泛化性。
域随机化泛化
24
安全约束与力矩限制
力矩软约束、安全屏障函数、约束马尔可夫决策过程(CMDP)、Lagrangian方法。
安全约束
25
Sim-to-Real迁移
仿真与现实的差距、系统辨识、域随机化策略、零样本迁移与微调。
迁移Sim2Real
26
力矩控制中的力感知
力传感器校准、力信号滤波、力反馈在策略中的应用、混合力位控制。
力感知传感器
27
柔顺装配任务
插孔任务、力位混合策略、接触状态检测、强化学习在装配中的应用案例。
装配柔顺
28
人机协作安全
碰撞检测、力矩限制策略、阻抗切换、基于强化学习的自适应安全策略。
人机协作安全
29
多任务力矩控制
多任务学习架构、任务编码、知识蒸馏、共享表示与任务特定头。
多任务蒸馏
30
前沿与展望
基于模型的强化学习、离线强化学习、大语言模型与机器人控制、具身智能趋势。
前沿具身智能