📚 课程目录第4章 t-SNE中的困惑度

4. t-SNE 中的困惑度：从定义到调参实战

困惑度（Perplexity）是 t-SNE 里唯一一个需要你手工调的核心超参数。说白了，它控制着算法在局部和全局结构之间的平衡。我刚开始用 t-SNE 时，总以为设置个 30 就万事大吉——后来发现不对，数据密度一变，这个值就得跟着动。

4.1 困惑度的数学定义

先看公式，虽然数学上有点绕，但理解本质后你就知道怎么调了。

在 t-SNE 中，高维空间里点 i 和点 j 之间的条件概率 p_j|i 定义为：

p_{j|i} = exp(-||x_i - x_j||² / 2σᵢ²) / Σ_{k≠i} exp(-||x_i - x_k||² / 2σᵢ²)

这里的 σᵢ 是高斯核的带宽——每个点都有自己的 σᵢ，而困惑度就是用来确定这个 σᵢ 的。困惑度定义为：

Perp(Pᵢ) = 2^H(Pᵢ) 
其中 H(Pᵢ) = - Σ_{j≠i} p_{j|i} log₂(p_{j|i})

简单说，困惑度约等于每个点周围有效近邻的数量。如果你设困惑度为 30，算法会尽量让每个点找到大约 30 个邻居，然后用高斯核的带宽 σᵢ 去拟合这个条件。

  核心理解： 困惑度 ≈ 算法考虑的有效邻居数。数值大，局部范围变宽；数值小，只关注最紧邻的几个点。

4.2 困惑度对结果的影响——我踩过的坑

困惑度对最终可视化效果的影响非常直观。我举个例子：有一份客户分群数据，1000 条记录，12 个维度。我当初直接把困惑度设成默认 30，跑出来是一团乱麻，看不出任何簇。后来降到 5，哇，清晰分出了 4 个群体。为什么呢？

困惑度太低（如 2～5）：局部过于敏感，每个点只考虑极近的邻居，结果会分裂成很多小簇，甚至虚假结构。我以前在处理噪声数据时，设成 2，结果每个样本都孤立成一小撮，完全没法解释。
困惑度太高（如 100+）：局部结构被平滑掉，全局挤压在一起，变成一团。记得有一次我处理 5000 张图片特征，设了个 200，最后所有点都挤在中心，啥也看不清。
中等困惑度（5～50）：多数数据集能展现出有意义的簇结构。经验上说，困惑度通常设置在 5 到 50 之间，但具体要看样本量。

下面这张图总结了困惑度对 t-SNE 结果的影响模式：

4.3 如何选择合适的困惑度

没有万能公式，但有实用策略。我在实际项目中总结了一套方法。

4.3.1 样本量驱动法

如果你的数据量小于 100，困惑度别超过 10。我曾经分析过一组 50 个脑电信号样本，第一次用 30 跑，出来的散点图完全看不出规律；降到 5 之后，立即分出了三个明显簇。样本量在 100～1000 时，试试 10～30。样本量上千了，可以用 30～50 甚至更高。但记住，大到 100 以上时，t-SNE 的优化会变慢，而且容易陷入局部最优。

样本量 N	推荐困惑度范围	典型问题
N < 100	2～10	低困惑度防止过度分裂
100 ≤ N < 1000	10～30	平衡局部与全局
1000 ≤ N < 10000	30～50	避免挤压，保留簇边界
N ≥ 10000	50～100	大样本下可适当提高，但注意计算成本

小技巧： 你可以在同一个数据集上跑 3～4 个不同的困惑度（比如 5, 15, 30, 50），然后把结果并排画出来。如果某个困惑度下的簇结构能够稳定出现在其他值下（可能有形状变化但整体分群一致），那这个结构就是可信的。

4.3.2 交叉验证法

我在给客户做模型解释时，经常用这种办法：将数据集分成训练集和测试集（比如 70% / 30%），分别用相同的困惑度跑 t-SNE，然后检查两个投影矩阵的结构是否一致。如果训练集和测试集的簇相对位置差不多，说明困惑度选得合适；如果差很多——那就要调整。

我曾经踩过的坑： 有一次我为了省事，把 5000 条数据直接设困惑度为 80，结果跑出来很漂亮的三簇。但后来发现其中一簇其实是由两个子簇合并而成的——因为困惑度太高，把局部差异给平滑掉了。从那以后我坚持至少试三个不同的困惑度，并观察局部细节。

4.3.3 利用 PCA 或 UMAP 做快速预判

t-SNE 的计算相对慢，如果你不确定困惑度范围，可以先跑一个 UMAP（它有一个类似参数 n_neighbors）。UMAP 的 n_neighbors 大致对应 t-SNE 的困惑度。先快速扫一遍 n_neighbors 在 5～50 之间的结果，找到能分出可靠簇的那个值，再把这个值换算成困惑度——它们并不严格相等，但通常趋势一致。我经常用这个省时间。

4.4 困惑度与学习率的配合

还有个细节常被忽略：困惑度需要和学习率（learning rate）搭配才行。我在实战中发现，困惑度设得比较低（比如 5～10）时，学习率可以设小一点（比如 100～200），否则局部抖动太大，点会乱飘。困惑度偏大时（30+），学习率要适当提高到 200～500，让算法有足够动力在全局上推开簇。

# 一个常用的参数组合示例
from sklearn.manifold import TSNE

tsne = TSNE(n_components=2,
            perplexity=30,       # 根据样本量调节
            learning_rate=200,   # 与困惑度联动
            n_iter=1000,         # 足够多的迭代
            random_state=42)
results = tsne.fit_transform(X)

  一句话总结： 困惑度控制着 t-SNE 的“视野范围”——视野太小看到的是零散碎片，视野太大看到的是模糊一团。找到那个能让结构既清晰又稳定的中间值，就是你的最佳困惑度。

以上这些就是我这些年调 t-SNE 困惑度的核心经验。你可以在自己的数据集上多试几次，慢慢就会形成直觉，一眼就能看出哪个困惑度跑出来的结果靠谱。