第一章 强化学习概述：从试错学习到智能决策

大家好，我是这门课的主讲。今天咱们聊聊强化学习到底是什么。

说实话，我第一次接触强化学习时，脑子里就一个念头：这不就是教机器像人一样“吃一堑，长一智”吗？后来做项目越久，越觉得这个比喻其实挺贴切的。

1.1 强化学习的历史：从心理学到算法

强化学习不是凭空冒出来的。它的根，扎在心理学里。

早在上世纪初，心理学家就开始研究动物怎么通过试错来学习。比如，把一只老鼠放进迷宫，它乱撞一通，最后找到奶酪。下次再放进去，它走错路的次数就少了。这就是最原始的“试错学习”。

到了20世纪50年代，数学家们开始琢磨：能不能用公式描述这个过程？于是有了“动态规划”和“马尔可夫决策过程”。嗯，这两个概念后面会细讲，你先记住它们是强化学习的数学骨架就行。

80年代，有个叫Sutton的学者（后来成了强化学习领域的大佬）提出了“时序差分学习”。这玩意儿厉害在哪？它让机器不用等到游戏结束，就能边玩边学。我在项目中用过这个思路，效果确实好。

再往后，就是2013年DeepMind那篇震惊世界的——用深度Q网络打Atari游戏。机器看着屏幕上的像素，自己学会了怎么玩，而且比人玩得还好。从那时起，强化学习算是彻底火了。

1.2 核心概念：五个词讲清楚强化学习

强化学习的核心概念，说白了就五个词。我一个个说。

1.2.1 智能体（Agent）

智能体就是做决策的那个“人”。可以是机器人、游戏角色，也可以是股票交易程序。它负责观察环境、做出动作、接收反馈。

我习惯把智能体想象成一个刚入职的新人——啥都不懂，全靠试。

1.2.2 环境（Environment）

环境就是智能体所在的“世界”。它定义了规则，也给出反馈。比如自动驾驶的环境就是真实道路，游戏AI的环境就是游戏画面。

注意，环境是智能体无法控制的。你想想看，你开车时能控制红绿灯吗？不能。你只能适应它。

1.2.3 状态（State）

状态是环境在某一时刻的快照。比如棋局上所有棋子的位置，或者机器人当前的位置坐标。

这里有个坑：状态必须包含足够的信息，让智能体能做出合理决策。我曾经在项目中因为状态定义得太简单，导致智能体像个无头苍蝇。后来加了一个关键特征，效果立竿见影。

1.2.4 动作（Action）

动作是智能体可以做的事情。比如游戏手柄上的“上、下、左、右、A、B”。动作空间可以是离散的（有限个选择），也可以是连续的（比如方向盘转多少度）。

1.2.5 奖励（Reward）

奖励是环境给智能体的“打分”。做对了给正分，做错了给负分。智能体的目标就是最大化长期累积的奖励。

设计奖励函数是个技术活。给多了，智能体学会钻空子；给少了，它学不动。我见过一个项目，因为奖励设置不合理，智能体学会了原地转圈刷分——你说气不气人？

1.3 强化学习的知识体系

下面这张图，是我自己画的。它展示了强化学习的核心知识结构。你一眼就能看出各个概念之间的关系。

你看，智能体从环境里拿到状态，做出动作，环境再反馈奖励和新状态。这个循环不断重复，智能体就慢慢学会了“什么情况下该做什么事”。

1.4 强化学习的应用领域

强化学习能干啥？我列几个真实场景。

领域	典型应用	我的观察
游戏	AlphaGo、Dota 2 AI、Atari游戏	游戏是强化学习的“实验室”，环境可控，奖励明确
机器人	机械臂抓取、四足机器人行走	仿真到真实迁移是个大坑，后面章节会细讲
自动驾驶	路径规划、决策控制	安全第一，奖励函数设计要极其谨慎
推荐系统	新闻推荐、商品推荐	用户点击就是奖励，但要注意长期价值
金融交易	股票买卖策略	市场环境非平稳，模型需要持续更新

1.5 强化学习 vs 其他学习范式

为了让你更清楚强化学习的位置，我拿它跟监督学习和无监督学习比一比。

• 监督学习： 有标签数据，模型学的是“输入→输出”的映射。比如给一堆猫狗图片，让模型学会分类。
• 无监督学习： 没有标签，模型自己找规律。比如聚类、降维。
• 强化学习： 没有标签，但有奖励信号。模型通过试错，学的是“在什么状态下做什么动作能获得最大累积奖励”。

说白了，监督学习像考试——有标准答案。强化学习像创业——没人告诉你每一步该怎么做，只有最后赚没赚钱。

好了，第一章就到这里。强化学习的核心概念，你心里应该有个谱了。后面我们会一步步深入，从最简单的算法开始，一直讲到仿真迁移实战。别急，慢慢来。