01
课程导论
轨迹跟踪为什么难？强化学习凭什么能解决？课程全景图。
入门概览
02
环境搭建
Gymnasium库安装、自定义轨迹跟踪环境、渲染与交互。
工具实践
03
数学基础回顾
马尔可夫决策过程（MDP）、状态空间、动作空间、奖励函数设计。
理论MDP
04
PID控制基线
传统PID控制原理、在轨迹跟踪中的局限性、作为RL对比基线。
基线控制
05
Q-Learning入门
表格型Q-Learning、离散化状态空间、迷宫寻迹小实验。
经典表格
06
Deep Q-Network (DQN)
神经网络拟合Q函数、经验回放、目标网络。
深度DQN
07
DQN改进
Double DQN、Dueling DQN、优先经验回放。
进阶优化
08
策略梯度方法
REINFORCE算法、从Q-learning到策略梯度的思维转变。
策略梯度
09
Actor-Critic框架
A2C算法、优势函数估计、方差与偏差的权衡。
AC优势
10
PPO算法（上）
PPO的核心思想、裁剪目标函数、信任区域约束。
PPO稳定
11
PPO算法（下）
PPO实现细节、超参数调优、在连续控制任务中的表现。
PPO调参
12
SAC算法
最大熵强化学习、软策略评估与改进、自动温度调节。
SAC最大熵
13
DDPG算法
深度确定性策略梯度、适用于连续动作空间、探索策略设计。
DDPG连续
14
TD3算法
双延迟DDPG、裁剪双Q学习、延迟策略更新。
TD3改进
15
轨迹跟踪问题建模
状态表示（位置、速度、误差）、动作表示（加速度、转向角）。
建模表示
16
奖励函数工程
稀疏奖励 vs 密集奖励、势能函数引导、惩罚项设计。
奖励设计
17
仿真环境搭建
基于Python的2D轨迹跟踪模拟器、障碍物与扰动注入。
仿真2D
18
训练策略
课程学习（Curriculum Learning）、领域随机化、多环境并行训练。
策略并行
19
观测与状态处理
传感器融合、历史轨迹堆叠、特征工程。
观测特征
20
动作平滑与约束
动作滤波、安全约束、控制频率匹配。
平滑安全
21
模型部署与推理
从训练环境到真实环境的迁移、模型导出与轻量化。
部署推理
22
鲁棒性分析
对抗性扰动测试、参数摄动下的稳定性、泛化能力评估。
鲁棒测试
23
多智能体轨迹跟踪
协同跟踪、避碰策略、通信机制。
多智能体协同
24
基于模型的强化学习
学习环境模型、模型预测控制（MPC）与RL结合。
MBRLMPC
25
模仿学习与逆强化学习
从专家演示中学习、奖励函数推断。
模仿IRL
26
硬件在环测试
将RL策略部署到真实机器人、延迟与噪声处理。
硬件HIL
27
调试与可视化
TensorBoard监控、奖励曲线分析、策略行为回放。
调试可视化
28
常见陷阱与解决方案
训练不稳定、奖励黑客、探索不足。
陷阱实战
29
前沿进展
基于Transformer的策略网络、离线强化学习、世界模型。
前沿Transformer
30
综合实战项目
无人机航迹跟踪、自动驾驶车道保持、机械臂轨迹规划。
实战综合