3. 矩阵分解概览
矩阵分解的本质，是把一个复杂矩阵拆成若干具有特殊结构（三角、正交、对角、酉）的矩阵乘积，从而把“解方程、求特征、降维、压缩”等难题转化为对结构矩阵的简单运算。本节把四种最常见的分解放在同一张“结构地图”上比较：LU、QR、特征值分解（EVD）与奇异值分解（SVD）。理解它们的适用前提与相互联系，是后续学习低秩近似的必要铺垫。
四种分解各自解决什么问题
LU 分解面向方阵求解线性方程组。对可逆方阵 $A$，若消元过程中不需要换行，则 $A=LU$，$L$ 为单位下三角、$U$ 为上三角；实际计算中为控制舍入误差通常引入行交换，写成 $PA=LU$。它的价值在于“一次分解、多次求解”：分解后解 $Ax=b$ 只需前代解 $Ly=Pb$、回代解 $Ux=y$，复杂度从每次 $O(n^3)$ 降为 $O(n^2)$。LU 不要求对称或正定，但要求主元非零（或通过换行保证），且它不揭示矩阵的谱信息。
QR 分解把矩阵写成 $A=QR$，$Q$ 列正交（$Q^\top Q=I$），$R$ 上三角。它对 $m\times n$（$m\ge n$）的长方矩阵同样适用，因此是最小二乘的标准工具：$\min\|Ax-b\|_2$ 的解由 $R x=Q^\top b$ 回代得到，避免了构造正规方程 $A^\top A$ 带来的条件数平方恶化。QR 也是计算特征值的 QR 迭代的基础。
特征值分解要求 $A$ 为方阵，且最好可对角化：$A=V\Lambda V^{-1}$，$\Lambda$ 为特征值对角阵，$V$ 的列是特征向量。若 $A$ 实对称，则 $V$ 可取正交阵，$A=Q\Lambda Q^\top$，这是最理想的情形。EVD 直接暴露“不变子空间”和谱，是分析动力系统稳定性、图拉普拉斯谱聚类、主成分分析（协方差矩阵对称）的核心。但它对非对称矩阵可能不存在完备特征向量组，且特征值对扰动可能极其敏感。
奇异值分解对任意 $m\times n$ 矩阵都存在：$A=U\Sigma V^\top$，$U$、$V$ 为正交阵，$\Sigma$ 为对角且奇异值 $\sigma_1\ge\sigma_2\ge\cdots\ge0$。SVD 同时给出四个基本子空间的正交基：$U$ 的前 $r$ 列张成列空间、$V$ 的前 $r$ 列张成行空间，其余列张成零空间与左零空间。它把“任意矩阵”都化为“旋转—拉伸—旋转”，是低秩近似、伪逆、条件数计算的统一语言。
从“求解”到“谱”：两条技术路线
把四种分解分成两组更利于记忆。求解型分解（LU、QR）关注“把方程变简单”，输出的是三角结构，便于前代回代；它们不改变矩阵所携带的谱信息，只是换了一种计算顺序。谱型分解（EVD、SVD）关注“把矩阵变透明”，输出的是特征值/奇异值与对应的子空间，直接回答“哪些方向被放大、放大多少”。
两条路线并非割裂。QR 迭代正是用求解型分解去逼近谱型结果：给定 $A_0=A$，循环做 $A_k=Q_kR_k$、$A_{k+1}=R_kQ_k$，由于 $A_{k+1}=Q_k^\top A_kQ_k$ 是正交相似变换，特征值不变，而矩阵逐渐趋于上三角（实 Schur 形），对角块给出特征值。这说明 QR 不只是解方程工具，也是 EVD 的数值引擎。
用一个小矩阵把联系算出来
取示例矩阵 $A=\begin{bmatrix}3&1\\1&3\end{bmatrix}$（对称，便于手算核对）。对 $A$ 做 EVD：特征值为 $4$ 与 $2$，对应单位特征向量 $\frac{1}{\sqrt2}(1,1)^\top$ 与 $\frac{1}{\sqrt2}(1,-1)^\top$，故 $A=Q\Lambda Q^\top$，$\Lambda=\mathrm{diag}(4,2)$。由于 $A$ 对称半正定，其奇异值就是 $4$ 与 $2$，SVD 与 EVD 在此重合，$U=V=Q$，$\Sigma=\Lambda$。
若把 $A$ 改成非对称的 $B=\begin{bmatrix}3&1\\0&2\end{bmatrix}$，EVD 给出特征值 $3,2$、特征向量 $(1,0)^\top$ 与 $(1,-1)^\top$，但特征向量不正交；而 SVD 需计算 $B^\top B=\begin{bmatrix}9&3\\3&5\end{bmatrix}$，其特征值为 $10$ 与 $4$，故奇异值为 $\sqrt{10}\approx3.162$ 与 $2$。可见非对称时奇异值不再等于特征值，SVD 提供了 EVD 给不出的正交框架。以上数值为教学示例，用于对照两种分解的差异。
选型与工程注意事项
- 解线性方程组：优先 LU（带部分主元）；若矩阵对称正定，用 Cholesky 更快更稳。
- 最小二乘/病态长方阵：用 QR 或 SVD，避免显式构造 $A^\top A$。
- 谱分析、稳定性、PCA：对称矩阵用 EVD；非对称矩阵先看是否可对角化，否则转向 Schur 分解或 SVD。
- 降维、压缩、推荐系统：用截断 SVD，保留前 $k$ 个奇异值，重构误差由被丢弃奇异值的平方和给出。
- 数值判断：用奇异值最大值与最小值之比估计条件数；最小奇异值接近机器精度时，矩阵接近奇异，求解结果不可轻信。