一、强化学习概述：从试错学习到智能决策
大家好，我是你们这门课的主讲。今天咱们聊聊强化学习的“前世今生”。
说实话，我第一次接触强化学习的时候，脑子里就蹦出一个词——“驯狗”。你想想看，训练一只小狗坐下，它做对了给块肉干，做错了就轻轻拍一下地板。这不就是最朴素的试错学习吗？强化学习，说白了就是让机器像人一样，在不断的尝试和反馈中学会做决策。
1.1 发展历程：从实验室到工业界
强化学习不是突然冒出来的。它的根，扎在控制论和心理学里。
- 1950s-1960s：萌芽期——贝尔曼提出了动态规划，奠定了最优控制的理论基础。那时候还没“强化学习”这个词，但核心思想已经有了。
- 1980s：正式诞生——萨顿和巴托正式提出了“强化学习”这个术语。我读研时翻到他们那本《Reinforcement Learning: An Introduction》，说实话，第一遍没完全看懂，但那种“让机器自己学”的直觉特别吸引我。
- 2013年至今：爆发期——DeepMind用深度Q网络（DQN）打Atari游戏，直接震惊了AI圈。后来AlphaGo击败李世石，强化学习彻底出圈了。
我个人习惯把2013年作为一个分水岭。之前是“小数据、小模型”的学术探索，之后是“大数据、大算力”的工程落地。嗯，这里要注意：不是所有问题都适合用深度强化学习，有时候一个简单的Q-learning表格反而更靠谱。
1.2 核心概念：五个关键词
强化学习的核心，其实就五个词。我建议你把这五个词刻在脑子里，后面所有算法都绕不开它们。
| 概念 | 英文 | 一句话解释 |
|---|---|---|
| 智能体 | Agent | 做决策的那个“大脑” |
| 环境 | Environment | 智能体所处的“世界” |
| 状态 | State | 当前时刻环境的“快照” |
| 动作 | Action | 智能体做出的“操作” |
| 奖励 | Reward | 环境给智能体的“反馈分数” |
举个例子你就明白了。假设你在玩超级马里奥：
- 智能体：就是马里奥本人
- 环境：整个游戏关卡，包括地面、砖块、敌人
- 状态：当前帧的画面，马里奥的位置、金币数量等
- 动作：按左、按右、跳、蹲
- 奖励：吃到金币+1分，碰到敌人-1分，过关+100分
我曾经在做一个机器人抓取项目时，犯过一个低级错误：奖励函数设计得太稀疏。机器人转了半天，一个奖励都没拿到，根本学不会。后来我把奖励改成“每靠近目标物体1厘米就给0.1分”，训练效率直接翻倍。这就是奖励设计的艺术。
V(s) = maxa [ R(s,a) + γ * V(s') ]
其中V(s)是状态s的价值，R(s,a)是即时奖励，γ是折扣因子，s'是下一个状态。
1.3 应用场景：强化学习能干什么？
强化学习不是万能的，但它的应用范围确实很广。我挑三个最典型的场景说说。
游戏AI
这是强化学习最出名的应用。从Atari游戏到《星际争霸2》，从Dota 2到围棋，强化学习已经能打败人类顶级选手。为什么游戏特别适合？因为游戏有明确的规则、清晰的奖励（得分/输赢）、可以无限次重来。说白了，游戏是强化学习的“完美实验室”。
机器人控制
这个我最有发言权。我在做机械臂抓取项目时，传统控制方法需要手动编写每个关节的运动轨迹，费时费力。用强化学习，只需要告诉机器人“抓到了给奖励，没抓到给惩罚”，它自己就能学会各种抓取姿势。当然，训练过程中机器人摔坏过几个零件……嗯，这就是现实中的“试错成本”。
自动驾驶
自动驾驶是强化学习的“终极挑战”之一。车辆需要在复杂的交通环境中，做出安全、高效的决策。比如变道、超车、避让行人。但这里有个大坑：自动驾驶的奖励函数特别难设计。你给“快速到达”高奖励，它可能闯红灯；你给“安全”高奖励，它可能停在路口不动。我曾经见过一个团队，因为奖励函数没调好，自动驾驶模型学会了“在高速上原地打转”——因为这样永远不会出事故。
1.4 知识体系总览
下面这张图，是我自己画的强化学习知识体系。你可以把它当作整个课程的地图。
这张图把今天讲的内容串起来了。中心是强化学习，五个核心概念是它的骨架，三大应用场景是它的肌肉，发展历程是它的血脉。后面的课程，我们会一层层把这些细节展开。
好了，第一章就到这里。记住这五个核心概念，后面我们会用它们搭建起整个强化学习的知识大厦。