3、正交化概念：正交、正交基、正交投影与因子正交化的数学基础
在多元统计分析中，因子分析的核心目标之一是从众多原始变量中提取出具有实际解释意义的公共因子。然而，初始提取的因子载荷矩阵往往结构复杂，因子间存在交叉载荷，难以直接解读。正交化正是解决这一问题的关键数学工具。本章将从线性代数的基本概念出发，系统梳理正交、正交基、正交投影的数学内涵，并进一步阐明这些概念如何支撑因子正交化（如Varimax旋转）的实现逻辑。理解这些基础，是后续掌握因子旋转、共线性诊断与回归建模的前提。
3.1 核心原理：从向量正交到因子空间
正交（Orthogonal）是线性代数中最基础也最重要的概念之一。在欧几里得空间中，两个向量 u 和 v 正交的充要条件是它们的内积为零，即 u·v = 0。从几何角度看，这意味着两个向量在空间中相互垂直，彼此之间不存在任何线性相关成分。在因子分析的语境下，正交因子意味着各因子之间相互独立，协方差矩阵为单位矩阵，即 Cov(F) = I。
正交基（Orthogonal Basis）则是一组两两正交的基向量。若进一步要求每个基向量的模长为1，则称为标准正交基。标准正交基具有一个极其优美的性质：任意向量在该基下的坐标可以通过简单的内积运算获得，无需解线性方程组。设标准正交基为 {q₁, q₂, ..., qₖ}，则任意向量 x 可唯一表示为：
x = (x·q₁)q₁ + (x·q₂)q₂ + ... + (x·qₖ)qₖ这一性质在因子分析中意义重大。当我们通过正交旋转获得一组正交因子后，每个原始变量对因子的贡献（即载荷）可以通过投影计算直接得到，而不需要复杂的矩阵求逆运算。从矩阵角度理解，若 Q 是标准正交基构成的矩阵，则 QᵀQ = I，这一性质使得正交变换保持向量的长度和夹角不变，这正是因子旋转后共同度保持不变的根本原因。
3.2 判断方法与操作流程：正交投影与因子旋转
正交投影（Orthogonal Projection）是连接正交基与因子正交化的桥梁。给定一个子空间 W（由基向量张成），任意向量 x 在该子空间上的正交投影 proj_W(x) 是 W 中离 x 最近的向量。投影矩阵的计算公式为：
P = A(AᵀA)⁻¹Aᵀ其中 A 的列向量构成子空间 W 的一组基。当 A 的列向量是标准正交基时，投影矩阵简化为 P = AAᵀ。投影后的残差向量 e = x - proj_W(x) 与 W 中的任意向量正交，这一性质构成了最小二乘估计的几何基础。
在因子分析中，正交化操作通常通过因子旋转矩阵 T 实现。设初始因子载荷矩阵为 L（p×k 维），正交旋转后的载荷矩阵为 L* = L·T，其中 T 是 k×k 的正交矩阵（TᵀT = I）。最常用的正交旋转方法是 Varimax 旋转，其目标函数为：
最大化 V = Σⱼ [ p·Σᵢ(l*ᵢⱼ⁴) - (Σᵢ l*ᵢⱼ²)² ] / p²其中 l*ᵢⱼ 是旋转后载荷矩阵的元素，p 是变量个数。Varimax 的核心思想是使每个因子上的载荷尽可能向 0 或 ±1 两极分化，从而简化因子结构，增强可解释性。
| 步骤 | 操作内容 | 数学表达 | 目的 |
|---|---|---|---|
| 1 | 提取初始因子 | L = 特征向量 × √特征值 | 获得初始载荷矩阵 |
| 2 | 标准化载荷 | lᵢⱼ² / hᵢ² | 消除变量共同度差异 |
| 3 | 迭代求解旋转角 | tan(4θ) 方程 | 最大化方差目标 |
| 4 | 更新载荷矩阵 | L* = L·T | 获得旋转后载荷 |
| 5 | 验证正交性 | TᵀT = I | 确保因子不相关 |
3.3 案例拆解：Varimax 旋转在消费者调研中的应用
某市场调研公司收集了 200 名消费者对 6 个品牌属性的评分数据（1-7 分制），属性包括：品质感、价格亲民、设计时尚、功能丰富、售后服务、品牌知名度。初步因子分析提取了 2 个因子，但初始载荷矩阵中多个变量在两个因子上均有 0.4-0.6 的交叉载荷，因子含义模糊。
初始载荷矩阵（节选）：
变量 因子1 因子2
品质感 0.62 0.45
价格亲民 0.38 0.71
设计时尚 0.55 0.52
功能丰富 0.68 0.33
售后服务 0.41 0.65
品牌知名度 0.58 0.47分析判断：因子1在品质感、功能丰富上载荷较高，但设计时尚和品牌知名度存在明显交叉；因子2在价格亲民、售后服务上载荷较高，但品质感也有 0.45 的载荷。这种结构导致因子命名困难，无法清晰区分"产品力"与"服务力"两个维度。
实施 Varimax 旋转：使用统计软件执行正交旋转，迭代 5 次后收敛，旋转后的载荷矩阵为：
变量 因子1* 因子2*
品质感 0.78 0.12
价格亲民 0.15 0.82
设计时尚 0.71 0.28
功能丰富 0.83 0.08
售后服务 0.22 0.76
品牌知名度 0.65 0.31结果对比：旋转后因子1*在品质感、设计时尚、功能丰富、品牌知名度上载荷显著（>0.6），可命名为"产品吸引力"；因子2*在价格亲民、售后服务上载荷突出，可命名为"性价比与服务"。两个因子的相关系数为 0（正交性保证），共同度总和保持不变（如品质感：0.62²+0.45² = 0.5869，旋转后 0.78²+0.12² = 0.6228，差异仅为计算舍入误差）。
3.4 常见误区与总结复盘
误区一：混淆正交化与标准化。标准化（Z-score）是消除量纲影响，正交化是消除变量间的线性相关性。两者作用不同，但常被混用。在因子分析中，通常先标准化再正交化。
误区二：认为正交旋转一定优于斜交旋转。正交旋转的优点是因子不相关、解释简洁，但现实数据中因子往往存在天然相关性。若因子间相关系数超过 0.3，强行正交旋转会扭曲载荷结构，此时斜交旋转更合适。
误区三：忽视正交化的前提条件。正交化要求原始变量间存在足够的相关性（KMO > 0.6，Bartlett 球形检验显著）。若变量间本就独立，正交化无意义且因子分析不适用。
误区四：将正交投影等同于正交旋转。正交投影是数学工具（用于最小二乘、信号分解），正交旋转是因子分析中的具体应用。投影是"降维表示"，旋转是"坐标变换"，两者目的不同。