📚 课程目录第1章课程导入

1. 课程导入

欢迎进入《无人机强化学习控制与Sim2Real》课程。本课程面向已经具备一定Python与基础控制知识的同学，目标不是停留在“看懂论文”，而是能够独立完成一条从仿真训练到真机部署的完整链路。无人机是一个典型的欠驱动、强耦合、非线性系统，而强化学习（Reinforcement Learning, RL）提供了一种“通过交互试错自动学习控制策略”的范式。两者结合，既能绕开复杂建模，又必须直面仿真与真实世界之间的鸿沟——这正是Sim2Real要解决的核心问题。

一、学习目标：从“会跑代码”到“能上真机”

本课程的学习目标分为四个层次，层层递进：

概念层：理解强化学习五要素（智能体、环境、状态、动作、奖励）在无人机控制中的具体映射，理解MDP、策略、价值函数、回合与步的基本含义。
方法层：掌握主流算法族——值函数方法（DQN）、策略梯度（REINFORCE、PPO）、Actor-Critic（SAC、TD3）以及面向连续控制的适用边界。
工程层：能够搭建Gym/Gymnasium风格的无人机仿真环境，设计状态空间、动作空间与奖励函数，完成训练、评估与调参。
迁移层：理解域随机化、系统辨识、观测对齐、执行器建模等Sim2Real关键技术，并能将仿真策略迁移到真实无人机上稳定飞行。

核心判断标准：一个策略在仿真中收敛并不等于成功；只有当它在真实无人机上面对风扰、延迟、噪声和模型误差时仍能保持稳定，才算真正完成Sim2Real闭环。

二、核心概念：把RL术语翻译成无人机语言

很多同学初学时的困惑在于：RL教材里的“状态”“动作”“奖励”太抽象。下表把通用概念与无人机控制场景一一对应，帮助建立直觉。

RL概念	无人机控制中的含义	典型示例
状态 State	描述无人机当前运动与姿态的可观测信息	位置、速度、姿态四元数、角速度、目标相对位置
动作 Action	控制器每个控制周期输出的指令	四个电机转速、总推力+三轴力矩、速度/位置增量
奖励 Reward	对“飞得好不好”的数值化评价	位置误差负值、姿态惩罚、动作平滑惩罚、到达奖励
策略 Policy	从状态到动作的映射函数	神经网络 π(a\|s)，输入状态输出电机指令
回合 Episode	一次从起飞到结束的完整飞行	从初始位置出发，到达目标或坠毁后重置
Sim2Real Gap	仿真与真实之间的动力学、感知、延迟差异	电机响应延迟、气动阻尼、传感器噪声、风扰

需要特别强调的是动作空间的选择。若直接输出四个电机转速，策略自由度最高，但学习难度大、真机执行器差异敏感；若输出姿态或速度指令，则把底层稳定控制交给传统PID，RL只负责高层决策，Sim2Real难度显著降低。这是本课程反复强调的工程权衡。

三、整体知识框架：五层结构

本课程的知识体系可以组织为五个层次，从底层仿真到顶层真机部署，形成一条完整的技术栈。下图展示了各层之间的依赖关系与数据流方向。

这五层不是孤立的：仿真环境决定训练数据的分布，算法决定策略质量，Sim2Real技术决定迁移成败，真机部署暴露真实问题，评估迭代再反哺奖励设计与环境建模。任何一层缺失，闭环都无法成立。

四、实战路线图：12周从零到真机悬停

为了让学习路径清晰可执行，本课程设计了一条渐进式实战路线。下表给出阶段划分与关键交付物。

阶段	周次	核心任务	交付物
基础准备	第1–3周	RL基础、无人机动力学、Gym环境搭建	可运行的无人机仿真环境
算法训练	第4–7周	PPO/SAC实现、奖励设计、训练调参	仿真中稳定悬停与定点策略
Sim2Real	第8–10周	域随机化、延迟建模、鲁棒性测试	抗扰动策略与迁移评估报告
真机部署	第11–12周	机载推理、安全保护、飞行测试	真机悬停/轨迹跟踪演示

五、常见误区与复盘提示

误区一：奖励设计越复杂越好。过多惩罚项会让策略陷入局部最优，甚至学会“不动”来避免惩罚。建议从简单奖励开始，逐步增加约束。
误区二：仿真收敛就急于上真机。仿真中的完美观测在真机上不存在，传感器噪声和延迟会直接导致发散。必须先做域随机化和鲁棒性测试。
误区三：忽视控制频率与延迟。RL策略推理需要时间，若控制频率与仿真不一致，真机表现会严重退化。部署前必须对齐时间尺度。

一个典型的训练配置片段如下，展示了环境与算法的关键参数，后续章节会逐步展开：

env:
  control_freq: 50 Hz        # 控制频率
  max_episode_steps: 500     # 单回合最大步数
  obs: [pos, vel, quat, omega, target_rel]
  action: [thrust, torque_x, torque_y, torque_z]
  reward: -k_pos*||pos_err|| - k_att*||att_err|| - k_act*||action||
  randomization:
    mass: [0.8, 1.2] kg
    wind: [-1.5, 1.5] m/s
    latency: [0, 20] ms

algo:
  name: PPO
  lr: 3e-4
  n_steps: 2048
  batch_size: 256
  gamma: 0.99
  gae_lambda: 0.95

学习建议：每学完一个算法，不要只跑通示例，而要问自己三个问题——状态是否可观测？动作是否可执行？奖励是否真正表达了控制目标？这三个问题贯穿整个课程，也是Sim2Real能否成功的关键。

本课程后续将沿着上述五层框架和12周路线逐步展开，从环境搭建、算法实现，到域随机化、真机部署与失败复盘，帮助你建立一条可复现、可验证、可迁移的无人机强化学习控制链路。请先确保你的开发环境能够运行一个最简Gym环境，这是所有后续工作的起点。