线性回归模型：从理论到实战

线性回归，说白了就是找一条直线来拟合数据。我刚开始接触机器学习时，觉得这玩意儿太简单了——不就是初中数学里的y=kx+b吗？但真正做项目才发现，里面的门道可不少。今天咱们就把它彻底讲透。

核心思想：用一条直线（或超平面）来描述自变量和因变量之间的关系。简单说就是——给我一堆数据点，我画条线穿过它们，让所有点到线的距离之和最小。

最小二乘法，名字听着挺唬人，其实核心就一句话：让预测值和真实值的差的平方和最小。

为什么用平方而不是值？我当年也问过这个问题。原因有两个：一是平方函数处处可导，方便求极值；二是它对大误差的惩罚更狠——你想想看，差1和差2，平方后就是1和4，差距拉大了，模型会更"在意"那些偏离大的点。

数学上，我们要最小化的目标函数是：

J(θ) = Σ(yᵢ - ŷᵢ)² = Σ(yᵢ - (θ₀ + θ₁xᵢ))²

对θ₀和θ₁分别求偏导，令其等于0，就能得到解析解。这就是最小二乘法的闭式解。

我的经验：数据量小于1万时，我习惯直接用最小二乘法求解析解，又快又准。但数据量大了，矩阵求逆的计算量会爆炸，这时候就该梯度下降上场了。

梯度下降，说白了就是"摸着石头下山"。你站在山顶（初始参数），环顾四周，找到最陡的下坡方向（负梯度方向），迈一步（更新参数），再找方向，再迈一步……直到走到山底（最优解）。

更新公式很简单：

θⱼ := θⱼ - α · ∂J(θ)/∂θⱼ

其中α是学习率——步子迈大了容易扯着蛋（发散），迈小了又走得太慢。我刚开始调参时，经常因为学习率设太大，看着损失函数一路飙升……嗯，那感觉就像看着煮熟的鸭子飞了。

三种常见的梯度下降方式：

避坑指南：我曾经在一个项目中，直接用默认学习率0.01跑梯度下降，结果模型死活不收敛。后来发现特征取值范围差异太大——有的特征在0~1之间，有的在1000~10000之间。解决办法很简单：做特征缩放，让所有特征都在差不多的量级上。

一元线性回归，就是只有一个自变量。比如根据房子面积预测房价：

房价 = θ₀ + θ₁ × 面积

多元线性回归，就是有多个自变量。比如根据面积、卧室数、楼层、房龄来预测房价：

房价 = θ₀ + θ₁×面积 + θ₂×卧室数 + θ₃×楼层 + θ₄×房龄

写成矩阵形式更简洁：

ŷ = Xθ

其中X是特征矩阵，每一行是一个样本，每一列是一个特征。θ是参数向量。

你想想看，一元回归就是二维平面上画一条线，多元回归就是在高维空间里画一个超平面。道理是一样的，只是维度变高了。

我的习惯：做多元回归前，我一定会先做相关性分析。把那些高度相关的特征去掉——比如"房屋总面积"和"客厅面积"明显相关，留一个就够了。不然会出现多重共线性，模型参数估计会变得很不稳定。

模型建好了，怎么评价它好不好？我一般看三个指标：

MSE = (1/n) × Σ(yᵢ - ŷᵢ)²

MSE就是所有误差平方的平均值。它的单位是原始数据单位的平方——比如房价单位是万元，MSE的单位就是"万元的平方"，这让人很难直观理解。

RMSE = √MSE

RMSE把单位拉回到原始单位，更直观。比如房价预测的RMSE是5万元，意思就是平均来看，预测值和真实值差了5万左右。

R² = 1 - SS_res / SS_tot

R²衡量的是模型能解释多少数据变异。取值范围0~1，越接近1越好。

举个例子：R²=0.85，意味着模型能解释85%的数据波动。剩下的15%是模型解释不了的随机误差。

指标	取值范围	越大越好？	我的使用场景
MSE	[0, +∞)	越小越好	模型调参时对比
RMSE	[0, +∞)	越小越好	向业务方汇报时用
R²	[0, 1]	越大越好	评估模型整体表现

注意：R²不是万能的。我曾经遇到一个模型，R²高达0.98，但实际预测效果一塌糊涂。后来发现是过拟合了——模型把噪声也学进去了。所以评估模型时，一定要结合交叉验证，不能只看R²。

好了，线性回归的核心内容就这些。从最小二乘法的数学原理，到梯度下降的迭代优化，再到一元和多元的扩展，最后用评估指标检验模型效果——这条线串起来，就是线性回归的完整知识体系。

下次做回归任务时，你可以先试试最小二乘法求解析解，数据量大就换梯度下降。评估时别只看一个指标，MSE、RMSE、R²结合起来看，再配合可视化检查残差分布——这样基本不会出大问题。