2. 大模型基础与评估概览
大模型的评估并非简单的“打分”或“跑分”，而是一项需要深刻理解模型内部机制、训练范式与外部行为表现的系统工程。要准确评估一个模型，首先必须理解它为何能产生如此强大的能力，以及这些能力在哪个环节被塑造。本章将从Transformer架构的核心原理出发，梳理预训练与微调的关键流程，进而建立一套科学的评估分类体系与指标框架，为后续章节的实战评估打下坚实的认知基础。
2.1 Transformer：大模型的能力之源
所有现代大语言模型（LLM）几乎都建立在Transformer架构之上。理解Transformer的核心机制，是评估其能力边界的前提。Transformer摒弃了传统的循环结构，完全依赖自注意力机制（Self-Attention）来建模序列中任意两个位置之间的依赖关系。这种设计带来了两个关键特性：一是并行计算，使得训练效率大幅提升；二是长距离依赖建模，理论上可以捕获远超RNN的上下文信息。
核心原理：多头注意力与位置编码
多头注意力（MHA）将输入向量投影到多个子空间，并行计算注意力权重，从而让模型能够同时关注不同维度的语义关系（如语法、指代、主题）。而位置编码（Positional Encoding）则为并行计算的序列注入顺序信息，否则模型将无法区分“猫追狗”和“狗追猫”。在评估模型时，我们常通过注意力可视化来诊断模型是否关注了关键实体，例如在指代消解任务中，模型是否正确地将“它”关联到前文的“苹果”而非“桌子”。
判断方法：从架构参数预估能力倾向
在评估一个未知模型时，首先应查看其架构配置。以下表格展示了不同配置对评估侧重点的影响：
| 架构参数 | 典型值范围 | 对评估的影响 |
|---|---|---|
| 隐藏层维度 (d_model) | 2048 ~ 12288 | 维度越高，单信息容量越大，但评估时需关注是否过拟合训练分布。 |
| 层数 (L) | 12 ~ 96 | 层数越深，抽象能力越强，但深层模型在长上下文任务中可能出现“迷失在中间”的现象。 |
| 注意力头数 (H) | 12 ~ 96 | 头数越多，并行关注模式越丰富，但评估时需检查是否存在头部冗余。 |
| 上下文窗口 | 2K ~ 128K | 窗口越长，处理长文档能力越强，但评估需覆盖窗口边缘的召回率。 |
2.2 预训练与微调：能力的塑造与定向
大模型的能力并非一蹴而就，而是通过“预训练+微调”两阶段范式逐步塑造的。理解这一流程，有助于我们判断评估结果反映的是模型的“先天禀赋”还是“后天训练”效果。
预训练：语言知识的底座
预训练阶段使用海量无标注文本，通过自监督学习（如下一个词预测）让模型掌握语言语法、事实知识和世界常识。此阶段决定了模型的知识广度和语言流畅度。评估时，困惑度（Perplexity）是衡量预训练模型对文本分布拟合程度的经典指标。但低困惑度并不代表高智能——模型可能只是擅长预测高频词汇，却缺乏深层语义理解。
微调：任务能力的定向增强
微调阶段使用标注数据，将预训练模型的能力“对齐”到特定任务或人类偏好。监督微调（SFT）让模型学会遵循指令格式；基于人类反馈的强化学习（RLHF）则进一步优化模型输出的有用性和无害性。评估微调效果时，不能仅看任务准确率，还需关注通用能力是否退化（灾难性遗忘）。
2.3 评估分类体系与指标概览
大模型评估是一个多维度的复杂体系。为了科学地衡量模型，我们需要将其拆解为可量化的维度。根据业界实践，评估通常分为以下四大类：
- 生成质量评估：关注文本的流畅性、连贯性、信息密度和忠实度。常用指标包括ROUGE（面向摘要）、BLEU（面向翻译）、BERTScore（基于语义相似度）以及人工评分。
- 推理能力评估：考察模型在数学、逻辑、常识推理上的表现。典型基准包括GSM8K（数学应用题）、MMLU（多任务语言理解）、BBH（大模型基准行为）。
- 安全性评估：检测模型是否会产生有害、偏见、泄露隐私或违反伦理的内容。这通常需要红队攻击和对抗性测试。
- 对齐与鲁棒性评估：衡量模型是否遵循用户指令、在输入扰动下是否稳定、以及模型对自身不确定性的校准程度（Expected Calibration Error, ECE）。
案例拆解：一次完整的模型选型评估
假设某金融科技公司需要选择一个LLM用于智能客服和研报摘要。评估团队制定了如下方案：
- 背景与约束：模型需部署在私有云，推理延迟需低于800ms，且必须通过《数据安全法》合规审查。
- 初始目标：在金融领域问答准确率（F1）达到85%以上，且有害内容拒答率需达到99%。
- 关键输入数据：构建了包含2000条金融问答对、500篇研报摘要的测试集，并设计了100条针对“内幕交易”、“非公开信息”的诱导性提问。
- 分析判断过程：团队先对候选模型A（通用模型）和模型B（金融微调模型）进行基准测试。模型A在MMLU上得分高，但在金融专业术语理解上F1仅为72%；模型B在金融测试集上F1达到88%，但在通用对话中出现了“知识遗忘”现象，回答日常问题变得生硬。
- 实际操作步骤：团队进一步对模型B进行安全性测试，发现其对“如何规避监管”类问题的拒答率仅为85%，未达标。最终，团队选择模型A作为基底，使用LoRA技术进行轻量级金融微调，并额外增加了安全对齐训练。
- 结果对比：微调后的模型A在金融F1提升至86%，安全拒答率提升至99.2%，推理延迟为650ms，满足所有约束。
- 风险与代价：微调过程耗时2周，且需要持续监控模型在真实用户输入下的漂移情况。
- 复盘经验：评估不能只看单一指标，必须结合“能力、安全、性能”三角进行综合权衡。通用模型+定向微调往往比直接使用专用模型更具可控性。
2.4 常见误区与总结复盘
在评估实践中，初学者常陷入以下误区，导致评估结果失真：
误区二：忽略基线对比。评估模型时未与合适的基线（如、Llama-2-70B）进行对比，导致无法判断分数的意义。
误区三：测试集污染。使用了模型训练时可能见过的公开数据集进行测试，导致评估分数虚高。建议使用自建或最新发布的私有测试集。