01
轨迹规划概述
什么是轨迹规划 · 机器人应用 · 强化学习 vs 传统方法
入门概念
02
强化学习基础
MDP · 状态/动作/奖励 · 策略 · 价值函数
MDP核心
03
Q-Learning入门
Q表 · Q值更新 · ε-greedy 探索利用
表格经典
04
Deep Q-Network (DQN)
深度网络 · 经验回放 · 目标网络
深度学习价值
05
策略梯度方法
Policy Gradient · REINFORCE · Actor-Critic
策略梯度
06
PPO算法
裁剪目标函数 · 轨迹规划优势
稳定流行
07
SAC算法
最大熵 · 自动温度调节 · 软策略
连续控制高效
08
环境搭建
Gym库 · 自定义环境 · 状态/动作空间
实践仿真
09
仿真工具
MuJoCo · PyBullet · ROS+Gazebo
物理引擎机器人
10
路径规划基础
A* · RRT · 与强化学习结合
经典混合
11
运动学约束
运动学模型 · 关节/任务空间 · 正逆运动学
几何约束
12
动力学约束
牛顿-欧拉 · 拉格朗日 · 规划重要性
物理力矩
13
避障策略
势场法 · 人工势场+RL · 动态避障
安全反应式
14
奖励函数设计
稀疏/密集奖励 · 奖励塑形 · 课程学习
奖励技巧
15
状态表示
传感器数据 · 特征提取 · 端到端
表征感知
16
动作空间
离散/连续 · 降维 · 动作平滑
控制设计
17
多目标轨迹规划
Pareto最优 · 多目标奖励 · 权重调整
权衡优化
18
时间最优轨迹
时间最优控制 · 最小时间 · RL求解
快速极限
19
能量最优轨迹
能耗模型 · 节能策略 · 绿色机器人
节能可持续
20
平滑轨迹生成
B样条 · 贝塞尔 · 轨迹插值
曲线连续
21
模仿学习
行为克隆 · 逆强化学习 · 从演示学习
演示IRL
22
元学习
MAML · 快速适应 · 泛化轨迹
元学习适应
23
分层强化学习
Option框架 · 子目标分解 · 层次规划
分层抽象
24
多智能体轨迹规划
协同 · 竞争 · 通信机制
多智能体交互
25
安全强化学习
约束MDP · 安全屏障 · 保守策略
安全约束
26
鲁棒轨迹规划
不确定性建模 · 分布鲁棒 · 对抗训练
鲁棒不确定
27
迁移学习
域随机化 · Sim2Real · 微调
迁移Sim2Real
28
模型预测控制(MPC)
MPC原理 · RL结合 · MPC作为策略
MPC模型
29
实时轨迹规划
推理加速 · 模型轻量 · 边缘部署
实时部署
30
综合项目
机械臂抓取 · 无人机航迹 · 自动驾驶
实战综合