3. 数学预备知识（上）
各位同学，欢迎来到模型辨识与策略训练的数学预备课。
说实话，很多做AI算法的朋友，一提到概率论就头疼。我当年刚入行时也一样，觉得这玩意儿太抽象。直到后来在项目中吃了大亏——有一次做机器人控制策略，模型怎么都收敛不了，折腾了两周，最后发现是协方差矩阵没处理好。嗯，从那以后，我再也不敢小看这些基础概念了。
今天我们就来聊聊概率论里最核心的几个概念：随机变量、期望、方差、协方差。这些是模型辨识的基石，也是你理解策略训练中不确定性来源的关键。
3.1 随机变量：不确定性的量化工具
先问大家一个问题：你测量一个物理量，比如电机转速，每次测出来都一样吗？
显然不会。传感器噪声、环境扰动、量化误差……这些因素让每次测量结果都不同。随机变量，就是用来描述这种不确定性的数学工具。
定义：随机变量是一个函数，它将随机试验的结果映射到实数上。说白了，就是把“不确定的事件”变成“数字”。
随机变量分两类：
- 离散型随机变量：取值是有限个或可数无穷个。比如抛硬币的结果（正面=1，反面=0），或者传感器故障次数。
- 连续型随机变量：取值是某个区间内的任意实数。比如电机转速的测量值、温度传感器的读数。
重要概念：概率分布
离散型用概率质量函数（PMF），连续型用概率密度函数（PDF）。
举个例子：高斯分布（正态分布）的PDF公式：
f(x) = (1 / (σ * sqrt(2π))) * exp(-(x - μ)² / (2σ²))其中μ是均值，σ是标准差。这个公式你最好记在心里，因为模型辨识中90%的噪声假设都是高斯分布。
我的经验：在策略训练中，我习惯先假设观测噪声服从高斯分布。如果模型效果不好，再考虑其他分布（比如拉普拉斯分布对异常值更鲁棒）。
3.2 期望：随机变量的“平均”行为
期望，说白了就是随机变量在大量试验下的平均值。你想想看，如果抛一万次硬币，正面出现的次数大概是多少？那就是期望在起作用。
数学定义：
- 离散型：E[X] = Σ x_i * P(x_i)
- 连续型：E[X] = ∫ x * f(x) dx
期望有几个重要性质，我建议你记牢：
- 线性性：E[aX + bY] = aE[X] + bE[Y]（这个在策略梯度推导中会反复用到）
- 常数期望：E[c] = c
- 独立乘积：如果X和Y独立，则E[XY] = E[X]E[Y]
注意：期望的线性性不要求变量独立！这是很多初学者容易搞混的地方。E[X+Y] = E[X] + E[Y]永远成立，不管X和Y是否相关。
我在项目中遇到过一个问题：用蒙特卡洛方法估计期望时，采样数量不够导致估计偏差很大。后来我学乖了，先用理论公式算一遍期望，再跟采样结果对比，确保采样量足够。
3.3 方差：衡量随机变量的“波动”程度
期望告诉我们“平均情况”，但光有期望不够。比如两个传感器，一个精度高（波动小），一个精度低（波动大），它们的期望可能一样，但方差完全不同。
定义：Var[X] = E[(X - E[X])²] = E[X²] - (E[X])²
方差的开方就是标准差σ，它和原始数据量纲一致，更直观。
方差的性质：
- Var[c] = 0（常数不波动）
- Var[aX + b] = a² Var[X]（平移不影响方差，缩放会放大波动）
- 如果X和Y独立：Var[X + Y] = Var[X] + Var[Y]
在模型辨识中的应用：
当我们辨识系统模型时，通常会得到参数的估计值。方差告诉我们这个估计有多可靠。方差越小，说明估计越稳定。
比如用最小二乘法辨识ARX模型参数，参数估计的协方差矩阵可以直接从数据中计算出来，用来评估模型的可信度。
3.4 协方差：两个随机变量的“关系”度量
协方差，说白了就是看两个变量是不是“一起动”。
定义：Cov[X, Y] = E[(X - E[X])(Y - E[Y])] = E[XY] - E[X]E[Y]
协方差的正负号告诉我们：
- Cov[X, Y] > 0：X增大时Y也倾向于增大（正相关）
- Cov[X, Y] < 0：X增大时Y倾向于减小（负相关）
- Cov[X, Y] = 0：X和Y不相关（但不一定独立！）
我曾经踩过的坑：协方差为0不代表独立。两个变量可能有非线性关系，比如Y = X²，协方差可能为0，但显然它们不独立。所以在做策略训练时，别只看协方差矩阵就下结论。
协方差矩阵：对于多维随机向量X = [X₁, X₂, ..., Xₙ]ᵀ，协方差矩阵是一个n×n的对称矩阵：
Σ = [Cov[X₁, X₁] Cov[X₁, X₂] ... Cov[X₁, Xₙ]]
[Cov[X₂, X₁] Cov[X₂, X₂] ... Cov[X₂, Xₙ]]
[ ... ... ... ... ]
[Cov[Xₙ, X₁] Cov[Xₙ, X₂] ... Cov[Xₙ, Xₙ]]对角线元素是方差，非对角线元素是协方差。
3.5 知识体系总览
下面这张图帮你理清本章的核心逻辑：
3.6 小结与实用建议
好了，我们来捋一捋今天的内容：
- 随机变量：把不确定性变成数字的工具
- 期望：告诉你“平均会怎样”
- 方差：告诉你“波动有多大”
- 协方差：告诉你“两个变量怎么一起动”
我的个人习惯：在做策略训练之前，我一定会先做一步数据探索——计算所有观测变量的均值、方差和协方差矩阵。这能帮我快速发现数据中的异常（比如某个传感器方差特别大，或者两个变量高度相关导致冗余）。
另外，如果你用Python做模型辨识，我推荐用numpy的np.mean()、np.var()、np.cov()函数，非常方便。
记住，这些概念不是孤立的。在模型辨识中，我们经常需要联合使用它们。比如用最大似然估计时，你既要用到期望（似然函数的期望），也要用到方差（估计量的方差），还要用到协方差（参数之间的相关性）。
嗯，今天就到这里。这些基础打牢了，后面讲贝叶斯辨识、卡尔曼滤波的时候，你会轻松很多。
可可精品资料库