RNN基础：循环神经网络结构与记忆
聊到LSTM之前，咱们得先把最基础的循环神经网络搞清楚。说白了，RNN就是给神经网络加了“记忆”能力。为什么需要记忆？你想想看，处理时序数据时，当前的输出往往依赖过去的信息。
举个我实际碰到的例子。有一次做设备故障预测，传感器每秒钟采集一个振动值。如果只看当前时刻的数据，根本判断不出设备是否要坏。但如果你把过去10秒的振动趋势放进去，模式一下子就清晰了。这就是RNN要解决的核心问题——捕捉时间维度上的依赖关系。
为什么前馈网络搞不定时序问题
标准的前馈神经网络，比如全连接网络或CNN，假设所有输入是独立的。这招对图片、静态特征还行，但对时间序列就抓瞎了。
看看这张对比表：
| 特性 | 前馈神经网络 | 循环神经网络 |
|---|---|---|
| 输入处理方式 | 一次性全部输入 | 按时间步逐帧处理 |
| 参数共享 | 每层独立参数 | 所有时间步共享同一套权重 |
| 记忆能力 | 无 | 通过隐藏状态传递 |
| 适合任务 | 静态分类、回归 | 序列预测、语言模型 |
记得我当时第一次用前馈网络做股票预测，模型死活学不会涨跌趋势。后来才发现，问题出在它把每天的开盘价当成独立事件——说白了就是历史被清零了。换成RNN后，效果提升非常明显。
标准RNN的结构，到底长什么样
RNN的核心思想其实就一句话：让网络在时间步之间传递一个隐藏状态。
看这个展开图就清楚了：
从上图能看出，RNN在时间步 t 的隐藏状态 h_t，不仅由当前输入 x_t 决定，还依赖上一个隐藏状态 h_{t-1}。这种递归结构让网络具备了“记忆”。
RNN的前向传播，到底在算什么
数学上其实很简单。RNN有两个核心公式：
# 隐藏状态更新
h_t = tanh(W_hh * h_{t-1} + W_xh * x_t + b_h)
# 输出计算
y_t = softmax(W_hy * h_t + b_y)我个人习惯把 W_hh 叫作“记忆权重”，它是决定上一个隐藏状态保留多少的核心。这里的 tanh 激活函数很关键——它把值压缩到 [-1, 1]，防止隐藏状态无限膨胀。
我在项目中遇到过一个问题：有些人图省事用ReLU当RNN的激活函数，结果训练两三步就出现NaN。为什么呢？因为ReLU没有上界，隐藏状态累积几次就爆炸了。所以，RNN里的激活函数通常选tanh或sigmoid，这是有道理的。
W_hh 千万别太大。我通常用正交初始化，或者设成单位矩阵附近的小随机值。太大的初始权重很容易导致梯度爆炸。
RNN的训练：BPTT到底怎么回传
训练RNN用的算法叫时间反向传播（BPTT）。它的思路很直接：先把RNN按时间步展开成一个深层的神经网络，然后在这个展开网络上做标准的反向传播。
但这里有一个坑。你想想看，展开后的网络有多少层？取决于序列长度。如果序列有1000步，展开后就是一个1000层的深度网络。这么深的网络，梯度在反向传播时很容易消失或爆炸。
BPTT的计算量也需要注意。每步反向传播都要走一遍完整的时间链，复杂度是 O(T * d^2)，其中 T 是序列长度，d 是隐藏层维度。序列一长，训练速度会非常慢。
RNN的局限：为什么需要LSTM
标准RNN有两个致命缺陷：
- 梯度消失：时间步一长，后面的梯度传到前面变得微乎其微，模型学不到长期依赖。
- 梯度爆炸：反向传播时梯度过大，权重更新一步就飞了，训练直接崩掉。
我做一个简单的对比你就明白了：
| 场景 | 标准RNN表现 | 原因 |
|---|---|---|
| 短序列（<10步） | 效果不错 | 梯度能正常回传 |
| 中序列（10-50步） | 马马虎虎 | 开始出现梯度衰减 |
| 长序列（>50步） | 基本失效 | 梯度消失严重 |
实际项目中，标准RNN能稳定记住的大概就是5到10步的信息。再多，模型就开始“失忆”了。这也是为什么下一章要讲LSTM——它专门设计了门控机制来解决这个问题。
本章核心要点：
- RNN通过隐藏状态传递信息，实现“记忆”能力
- 所有时间步共享同一套权重，这是RNN的参数共享特性
- BPTT是训练RNN的标准方法，但长序列下梯度消失严重
- 标准RNN的有效记忆窗口很有限，通常在10步以内
嗯，基础打扎实了，后面讲LSTM的“门”结构你才能理解它为什么能记住几百步之前的信息。