📚 课程目录第3章 Top-k采样

Top-k 采样：原理、优缺点与调优归纳总结

上一章我们聊了温度系数，它管的是概率分布的“软硬”程度。但光调温度够吗？不够。我自己在早期做对话模型时，就踩过一个大坑：温度设低了，模型只会回“好的”、“谢谢”；温度设高了，经常蹦出些莫名其妙的词，比如“吃了一个蓝色的云”。

为什么会这样？因为有些低概率词，根本不该出现在候选池里。

这就引出了我们今天的主角——Top-k 采样。

「Top-k 不是温度系数的替代品，它是搭档。很多项目把二者混为一谈，结果调参调到怀疑人生。」

什么是 Top-k 采样

说白了，就是每次生成下一个 token 时，只从概率最高的 k 个 token 里选。其他 token 概率直接置零，然后重新归一化。

你想想看，模型词表通常有几万个 token。如果没有 Top-k，哪怕概率再小的词，也有可能被抽到。这是导致“胡说八道”的常见原因之一。

我拿 Hugging Face Transformers 举个例子。下面代码是标准用法：

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("gpt2")
tokenizer = AutoTokenizer.from_pretrained("gpt2")

input_text = "机器学习在未来十年"
inputs = tokenizer(input_text, return_tensors="pt")

output = model.generate(
    **inputs,
    do_sample=True,
    top_k=50,
    max_new_tokens=20
)

print(tokenizer.decode(output[0]))

top_k=50 意味着：每次只保留概率最高的 50 个 token，剩下的全砍掉。

  核心逻辑：Top-k = 截断 + 重新归一化。这是采样稳定性提升的第一道门槛。

Top-k 的工作流程

我把这个过程画成了流程图。你一看就明白了：

这张图里我刻意把“重新归一化”放在中间位置。这是很多人容易忽略的步骤——你砍掉了低概率词之后，剩下的概率之和小于 1，必须再做一次 softmax 才能变成合法分布。

Top-k 的优缺点

每一把刀都有两面。Top-k 也不例外。

优点

干净利落：直接消除了长尾低概率词。模型输出稳定性肉眼可见地提升。
适合大部分场景：从聊天机器人到文本补全，Top-k 都是默认配置。
调参直观：k 值从 10 到 100，影响可预期。比温度系数更可控。

缺点

一刀切问题：无论概率分布是平坦还是尖锐，k 值都一样。这在概率分布很不均匀时是个麻烦。
动态不足：有些语境下需要更多候选（比如创意写作），有些则不需要（比如事实性问答）。Top-k 对此无感。
与温度系数的配合门道：二者叠加时，顺序和值域处理不好，反而会互相抵消。

我建议新手先从 top_k=40 起步。如果发现输出太死板，慢慢调到 80。如果发现经常跑偏，降到 20 试试。

调优经验与避坑

调 Top-k 这件事，我在项目里遇到过很多坑。挑三个最典型的分享给你：

场景	推荐的 k 值范围	踩坑经历
对话生成（开放域）	50 ~ 80	我曾经用 k=10 做客服对话，结果模型只会复读“谢谢”。调整到 k=60 后，多样性才上来。
代码补全 / 事实性问答	10 ~ 30	代码生成场景，候选词有限。k 设太大反而干扰逻辑。20 左右效果最佳。
创意故事生成	80 ~ 150	创意写作需要“惊喜”。我见过一个团队把 k 拉到 200，结果故事前半段不错，后半段崩了——因为长尾词太多，模型自己都圆不回来。
批量推理（高吞吐）	40 ~ 60	批量环境下 k 值不宜过大，否则 OOM 风险增加。我自己的项目曾经把单 batch top_k 和 batch size 结合不当，导致显存爆了两次。

Top-k 与温度系数的配合

这是很多教程含糊其辞的地方。我直接说明白：两者同时使用时，先调温度，后做 Top-k 截断。

为什么是这个顺序？

温度系数是在 softmax 之前对 logits 放大或缩小。Top-k 是在 softmax 之后对概率分布做截断。先调温度，让分布形状先变一变；再做 Top-k，只保留最高概率的 k 个 token。这样配合更自然。

看一段实际例子：

# 推荐的配合使用方式
output = model.generate(
    **inputs,
    do_sample=True,
    temperature=0.8,   # 先让分布缓一点
    top_k=50,          # 再截断尾部
    max_new_tokens=30
)

# 不推荐的配置 —— 两者互相抵消
# temperature=2.0 会让分布很平，再用 top_k=10 强行砍，
# 相当于候选池里全是低概率噪声，结果不可控。

  核心经验：温度系数控制“分布形状”，Top-k 控制“候选窗口”。前者是软约束，后者是硬边界。

Top-k 的归纳总结

讲了这么多，最后做个系统的归纳。这张表我在团队内部分享时用过，用来快速对齐认知：

维度	Top-k 的行为
控制对象	候选 token 的数量上限
作用阶段	softmax 之后，采样之前
对多样性的影响	k 大 → 多样性高；k 小 → 确定性高
对稳定性的影响	k 小 → 输出稳定但可能平淡；k 大 → 输出灵活但可能失控
调参难度	较低，调参方向明确
与温度系数的关系	互补而非竞争，推荐按温度→Top-k 顺序组合
常见误区	认为 Top-k 等于“只能选前 k 个”，其实选的是前 k 个 token 的重新归一化分布
批次稳定性影响	k 值固定时，不同句子长度和分布差异可能被放大，需要配合 padding 和 mask 处理

一个容易被忽略的问题：同一批次内不同样本的句子长度差异较大时，k 值固定可能导致短句的候选池“虚高”——短句本身 token 少，k 值不变意味着选中的概率密度更分散。这时候可以试试按长度动态调整 k，但实现起来要小心。

嗯，Top-k 到这里基本讲透了。它是我个人最常用的采样策略之一，简单直接，见效快。只要不把它当成万能钥匙，配合好温度系数，大部分项目都能跑通。

记住一句话：Top-k 帮你过滤噪音，温度系数帮你微调语感。两个加在一起，才是采样策略的入门基本功。