4、PCA在降维中的应用：如何选择主成分数量

做PCA降维，最让人纠结的问题就是：到底选几个主成分？

选少了，信息损失太大，模型精度狂掉。选多了，降维等于没降，徒增计算量。我个人习惯先问自己一个问题——「我要保留多少原始信息？」想清楚这个，选择方法自然就有了。

4.1 最常用的方法：累积方差贡献率

说白了，就是看前k个主成分能保住多少原始方差。我一般会画一条累计方差曲线，然后定一个阈值，比如90%或95%。

具体怎么做？先算每个主成分的方差占比，再累加起来：

# 计算方差贡献率和累计方差
import numpy as np
from sklearn.decomposition import PCA

pca = PCA(n_components=None)
pca.fit(X_scaled)

variance_ratio = pca.explained_variance_ratio_
cumulative = np.cumsum(variance_ratio)

# 找到累计方差超过95%的最少主成分数
k = np.argmax(cumulative >= 0.95) + 1
print(f"保留 95% 方差需要 {k} 个主成分")

4.2 Kaiser准则：取特征值大于1的

这个方法来自因子分析。它的逻辑很简单：如果某个主成分的解释能力还比不上一个原始变量，那它就不该被保留。

当数据经过标准化后，原始变量方差为1。所以特征值大于1的主成分才是“有用”的。

# 查看特征值
eigenvalues = pca.explained_variance_
print("特征值:", eigenvalues)

# Kaiser准则
k_kaiser = np.sum(eigenvalues > 1)
print(f"Kaiser准则建议保留 {k_kaiser} 个主成分")

4.3 肘部法则：看碎石图

碎石图（Scree Plot）就是把每个主成分的方差贡献率画成折线图。你想想看，一条线从高到低，总有个地方开始变平缓。那个“拐点”就是值得考虑的分界。

import matplotlib.pyplot as plt

plt.figure(figsize=(8, 5))
plt.plot(np.arange(1, len(variance_ratio) + 1),
         variance_ratio, 'bo-', markersize=6)
plt.axvline(x=k_elbow, color='red', linestyle='--', label='肘部位置')
plt.xlabel('主成分序号')
plt.ylabel('方差贡献率')
plt.title('碎石图 – 找拐点')
plt.grid(alpha=0.3)
plt.legend()
plt.show()

但说实话，拐点有时候很模糊。特别是特征值缓慢下降的时候，你根本看不出哪里是“肘”。遇到这种情况，我还是会优先看累计方差。

4.4 交叉验证法：用模型效果反推

如果你不是单纯做可视化，而是给后续建模降维，那最直接的方法就是用下游模型来反推。把k值从1试到10，看哪个k让下游模型表现最好。

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression

scores = []
for k in range(1, min(X_scaled.shape[1], 20) + 1):
    pca_k = PCA(n_components=k)
    X_k = pca_k.fit_transform(X_scaled)

    model = LogisticRegression(max_iter=1000)
    cv_score = cross_val_score(model, X_k, y, cv=5).mean()
    scores.append(cv_score)

best_k = np.argmax(scores) + 1
print(f"交叉验证最佳主成分数: {best_k}")

综合策略：别只依赖一种方法

你可能会问，这么多方法到底听谁的？我给个常规的组合流程：

1. 先画碎石图，快速判断可能的范围。
2. 看累计方差曲线，选90%-95%对应的k值。
3. 用Kaiser准则做交叉验证，看特征值大于1的个数。
4. 如果时间允许，跑一套下游模型交叉验证，做最终确认。

这个流程我用了很多年，基本不会翻车。有一次在金融风控项目里，几种方法给的结果完全不一样——累计方差说用5个，Kaiser说用3个，模型交叉验证说用7个。最后我选择了7个，因为模型效果确实最好。嗯，这就叫实践出真知。

核心方法对比

选择主成分数量的完整流程

下面这张图总结了整个过程，你可以把它当作日常工作的检查清单：