第1章
轨迹跟踪概述
什么是轨迹跟踪 · 应用场景（自动驾驶、机器人）· 课程目标与学习路径
入门概念
第2章
强化学习基础回顾
马尔可夫决策过程（MDP）· 状态、动作、奖励、策略、价值函数
MDP基础
第3章
环境搭建
Gym库介绍 · 安装与配置 · 创建第一个强化学习环境（CartPole）
Gym实战
第4章
PID控制入门
比例-积分-微分控制原理 · 在轨迹跟踪中的应用 · 优缺点分析
控制经典
第5章
从PID到RL
为什么需要强化学习 · PID的局限性 · RL带来的新思路
对比动机
第6章
Q-Learning算法
Q表更新原理 · ε-贪婪策略 · 离散动作空间下的轨迹跟踪
Q表离散
第7章
Q-Learning实战
在简单网格世界中实现轨迹跟踪 · 代码逐行解析
实战网格
第8章
Deep Q-Network (DQN)
神经网络拟合Q函数 · 经验回放 · 目标网络
DQN深度
第9章
DQN实战
使用DQN控制小车倒立摆 · 状态空间连续化处理
实战连续
第10章
策略梯度方法
REINFORCE算法 · 策略网络 · 蒙特卡洛采样
策略梯度REINFORCE
第11章
Actor-Critic框架
价值网络与策略网络的协同 · 优势函数（Advantage）
Actor-Critic优势
第12章
A2C与A3C算法
同步与异步优势Actor-Critic · 多线程训练技巧
A2CA3C
第13章
PPO算法（上）
近端策略优化 · 裁剪目标函数 · 信任区域思想
PPO裁剪
第14章
PPO算法（下）
PPO实现细节 · 代码实战 · 超参数调优
PPO调优
第15章
SAC算法
软Actor-Critic · 最大熵强化学习 · 自动温度调节
SAC最大熵
第16章
轨迹跟踪问题建模
状态空间设计（位置、速度、角度）· 动作空间设计（加速度、转向角）
建模状态空间
第17章
奖励函数设计
稀疏奖励 vs 密集奖励 · 势能函数 · 引导性奖励
奖励设计
第18章
仿真环境搭建（上）
使用PyBullet搭建四轮车模型 · 传感器模拟
PyBullet仿真
第19章
仿真环境搭建（下）
自定义Gym环境 · 注册环境 · 测试环境可用性
自定义Gym
第20章
基于模型的RL入门
学习环境动力学模型 · 模型预测控制（MPC）结合
MBRLMPC
第21章
MPC与RL结合
使用学习到的模型进行规划 · Dyna算法框架
Dyna规划
第22章
模仿学习
行为克隆 · DAgger算法 · 从专家数据中学习轨迹
模仿学习DAgger
第23章
逆强化学习
从轨迹中推断奖励函数 · 最大熵逆强化学习
IRL奖励推断
第24章
多智能体轨迹跟踪
协同跟踪 · 避碰 · 通信机制简介
多智能体协同
第25章
鲁棒性与安全性
约束马尔可夫决策过程 · 安全屏障函数 · RL中的安全探索
安全鲁棒
第26章
迁移学习与域随机化
从仿真到现实（Sim2Real）· 域随机化技巧
Sim2Real迁移
第27章
硬件部署基础
将训练好的策略导出为ONNX · 在嵌入式设备上运行
部署ONNX
第28章
评估与调试
训练曲线分析 · 策略可视化 · 常见失败模式
评估调试
第29章
前沿进展
基于Transformer的决策模型 · 离线强化学习 · 大模型与RL结合
前沿Transformer
第30章
综合项目
使用PPO算法完成无人机二维平面轨迹跟踪 · 完整流程复盘
项目PPO