1. 课程导论

2023年以来，AI大模型以“月更”甚至“周更”的速度迭代，从到Claude 3，从Llama系列到Qwen系列，模型参数规模、上下文长度、多模态能力不断刷新纪录。然而，一个关键问题始终悬在开发者、研究者和企业决策者头顶：这些模型究竟“有多好”？“好”的定义是什么？是能写诗、能编程、能解数学题，还是在特定业务场景中稳定可靠地完成任务？答案并不直观。一个在聊天中表现惊艳的模型，可能在代码生成任务上频繁出错；一个在英文基准上排名靠前的模型，可能对中文指令的理解存在系统性偏差。这正是AI大模型评测（Evaluation）与Benchmark（基准测试）存在的根本意义——用标准化、可量化、可复现的方法，为模型能力建立客观度量体系。

上图勾勒了本课程的核心知识框架：三大主流Benchmark（MMLU、GSM8K、HumanEval）分别从知识理解、数学推理、代码生成三个维度刻画模型能力，评测流程贯穿数据准备、推理执行、结果解析三个关键环节，最终输出评测报告并反哺模型迭代与业务决策。接下来，我们将深入拆解每一个环节的理论基础与实操细节。

1.1 AI大模型评测的意义：从“感觉好用”到“可度量可靠”

在深度学习早期，模型评测往往依赖开发者的主观感受——生成几个样例，肉眼判断输出质量。这种方式在模型能力有限、应用场景单一的时代尚可接受，但面对当前动辄千亿参数、支持复杂指令跟随和多轮对话的大模型，主观评测已经彻底失效。一个模型可能对某些提示词（Prompt）表现出色，对另一些则完全崩溃；可能在某次对话中逻辑严密，换一个随机种子就漏洞百出。评测的意义首先在于将这种不确定性转化为可量化的指标。

核心原理：评测的本质是“能力采样”。我们无法穷尽模型在所有可能输入上的表现，因此只能通过精心设计的样本集（即Benchmark）来近似估计模型的能力分布。MMLU选取了57个学科的多项选择题，覆盖人文、社科、理工、法律、医学等领域，旨在测试模型的知识广度和跨领域理解能力；GSM8K包含约8500道小学数学应用题，每道题需要多步推理才能得出答案，重点考察模型的数学逻辑链；HumanEval则提供164个Python函数签名和文档字符串，要求模型补全函数体，通过单元测试来判定代码正确性。这三个Benchmark从不同侧面构成了对模型能力的“三角验证”。

判断方法：如何选择评测指标？准确率（Accuracy）是最直观的指标，但在类别不平衡或存在随机猜测时可能失真。对于MMLU，由于每题4个选项，随机猜测的基线准确率为25%，因此一个模型若准确率低于30%，基本可以判定其不具备真正的知识理解能力。GSM8K的评估则更严格——不仅要求最终答案正确，还要求推理过程合理，但官方评估通常只检查最终数字答案，这给了一些模型“蒙对”的空间。HumanEval采用Pass@k指标，即模型生成k个候选代码中至少有一个通过全部单元测试的概率，k通常取1、10、100，这反映了模型在多次采样下的成功率。

1.2 Benchmark在模型开发中的作用：从“黑盒”到“导航仪”

Benchmark不仅是最终验收的“考卷”，更是模型开发过程中的“导航仪”。在预训练阶段，研究人员需要监控模型在通用语料上的困惑度（Perplexity），但困惑度下降并不直接等同于下游任务能力提升。此时，定期在MMLU等知识型Benchmark上做快速评测，可以帮助团队判断模型的知识吸收效率。在指令微调（Instruction Tuning）阶段，GSM8K和HumanEval则成为更敏感的指标——微调策略是否有效，往往在数学推理和代码生成任务上表现得最为明显。

操作流程：Benchmark驱动的开发闭环。一个典型的模型迭代周期包含以下步骤：

1. 基线评测：在模型checkpoint上运行全部三个Benchmark，记录初始分数。
2. 错误分析：对评测失败的样本进行人工或半自动分析，归纳错误类型（如MMLU中的常识错误、GSM8K中的计算错误、HumanEval中的语法错误）。
3. 针对性优化：根据错误类型调整训练数据配比、微调策略或推理参数。
4. 回归测试：优化后重新运行全部Benchmark，确认目标指标提升且其他指标未显著下降。
5. 版本发布：当关键指标达到阈值且无严重退化时，模型方可进入上线流程。

案例拆解：一个典型的模型迭代场景。假设某团队正在开发一个面向教育领域的对话模型，初始版本在GSM8K上准确率为55%，低于内部设定的65%目标。错误分析发现，约30%的失败样本涉及“分数运算”和“单位换算”类题目。团队随后在微调数据中增加了2000条数学推理链样本，并调整了推理时的温度参数（从0.8降至0.4）。重新评测后，GSM8K准确率提升至63%，但MMLU分数从72%微降至71.5%。虽然MMLU的下降在可接受范围内，但团队仍需警惕——这说明新增的数学数据可能对知识记忆产生了轻微干扰。最终，团队通过混合训练策略（在数学数据中加入10%的通用知识数据）将MMLU恢复至72.2%，同时GSM8K稳定在64%。

1.3 课程整体学习路径与目标：从“会用”到“懂原理”再到“能定制”

本课程共30章，分为四大模块，层层递进。第一模块（第1-5章）为评测基础，涵盖评测理论、数据工程、Prompt设计、指标计算与结果可视化；第二模块（第6-15章）深入三大Benchmark的实战细节，包括MMLU的学科分层分析、GSM8K的推理链提取、HumanEval的单元测试编写与Pass@k计算；第三模块（第16-25章）聚焦评测工程化，涉及大规模并行评测、分布式推理、评测流水线搭建、结果存储与对比分析；第四模块（第26-30章）探讨高级主题，包括多模态模型评测、长文本评测、评测偏差修正以及自定义Benchmark的设计方法论。

学习目标：完成本课程后，学员将能够独立完成以下任务：

• 理解MMLU、GSM8K、HumanEval的题目结构、评估逻辑与已知局限。
• 使用主流评测框架（如 Evals、lm-evaluation-harness）在本地或云端运行完整评测。
• 对评测结果进行深度分析，定位模型能力短板并给出优化建议。
• 设计适用于特定业务场景的自定义Benchmark，并建立持续评测机制。

常见误区与总结复盘。初学者最容易犯的错误是“只看总分，不看细节”。例如，两个模型在MMLU上总分相同，但一个在STEM科目上强、在人文科目上弱，另一个恰好相反——这在实际应用中意味着完全不同的适用场景。另一个误区是忽略评测的随机性。由于大模型推理存在采样随机性，同一模型在相同输入上多次运行可能得到不同结果。因此，专业评测通常需要多次运行取平均值，并报告标准差。本课程将在后续章节中反复强调这些细节，帮助学员建立严谨的评测习惯。