📚 课程目录第4章评估目标设定

4、评估目标设定：如何根据任务类型（生成、分类、抽取、对话等）定义明确的评估标准

在提示词工程中，评估不是事后的“打分环节”，而是贯穿提示词设计、调试、优化和上线全流程的“导航系统”。如果评估目标不清晰，我们很容易陷入“感觉输出变好了”或“偶尔好、偶尔坏”的主观迷雾中。本章的核心任务，是帮助大家建立一套任务类型驱动的评估目标设定方法：先识别任务本质，再拆解质量维度，最后将维度转化为可量化、可观测、可复现的评估指标。只有做到这一步，提示词的优化才有方向，模型行为的边界才能被真正掌控。

上图展示了评估目标设定的核心链路。在实际工作中，我们往往需要从任务类型出发，沿着这条链路逐步细化。下面，我们将逐一拆解各类任务的评估标准定义方法，并给出可直接落地的操作框架。

4.1 核心原理：任务类型决定评估维度的“权重分配”

不同任务类型对输出质量的要求截然不同。例如，文本生成任务（如写一篇营销文案）更看重创造性、相关性和可读性，而信息抽取任务（如从合同中提取甲方名称）则更看重精确率、召回率和格式合规性。如果对两类任务使用同一套评估标准，必然导致评估结果失真。

因此，评估目标设定的第一步，是明确任务的“主导质量属性”。我们可以将常见任务类型与核心评估维度建立映射关系，形成一张“任务-维度权重表”。这张表不是固定的，而是根据业务场景动态调整的，但它提供了一个很好的起点。

任务类型	主导评估维度（权重高）	辅助评估维度（权重中）	参考评估维度（权重低）
文本生成（创意写作）	相关性、创造性、可读性	格式合规性、一致性	精确率（不适用）
文本分类（情感分析）	准确率、F1值	鲁棒性（对噪声输入）	可读性（不适用）
信息抽取（命名实体识别）	精确率、召回率、F1	格式合规性、完整性	创造性（不适用）
多轮对话（客服）	任务完成率、用户满意度	连贯性、安全性	单轮准确率（需结合上下文）
代码生成	编译通过率、功能正确性	代码风格、可读性	创造性（低）
摘要生成	ROUGE-L、忠实度	完整性、冗余度	创造性（不适用）

这张表的核心价值在于，它帮助我们避免“一刀切”的评估方式。例如，在评估一个客服对话系统时，如果只关注单轮回复的准确率，而忽略了“用户是否成功解决了问题”这一任务完成率指标，那么即使模型每句话都回答得“正确”，也可能因为无法理解用户真实意图而导致对话失败。

4.2 判断方法：从任务目标到可观测指标的“三步拆解法”

在明确了任务类型后，我们需要将抽象的评估维度转化为可观测、可测量的具体指标。这里推荐一个“三步拆解法”：

第一步：定义理想输出特征。假设模型完美地完成了任务，它的输出应该具备哪些特征？例如，对于“抽取合同中的甲方名称”任务，理想输出应该是“一个字符串，且该字符串与合同原文中的甲方名称完全一致”。
第二步：识别可能的失败模式。模型在什么情况下会出错？常见的失败模式包括：格式错误（输出多余文字）、内容遗漏（漏抽了某个实体）、内容错误（抽错了实体）、幻觉（输出了原文不存在的信息）。
第三步：为每种失败模式设计检测指标。例如，针对“格式错误”，可以设计“格式通过率”指标；针对“内容遗漏”，可以设计“召回率”指标；针对“内容错误”，可以设计“精确率”指标。

下面以“从用户评论中抽取产品优缺点”任务为例，演示三步拆解法：

理想输出特征：输出一个JSON对象，包含“pros”和“cons”两个数组，数组中的每个元素是原文中出现过的短语。
失败模式：① 输出不是合法JSON；② 抽取的优缺点不在原文中；③ 遗漏了明显的优缺点；④ 将优点写入了cons数组。
检测指标：① JSON格式通过率；② 抽取内容忠实度（通过人工或NLI模型判断）；③ 召回率（人工标注的优缺点有多少被抽中）；④ 分类准确率（抽取出的内容是优点还是缺点）。

经验提醒：在设定指标时，务必区分“客观指标”和“主观指标”。客观指标（如格式通过率、编译通过率）可以自动化计算，适合做回归测试；主观指标（如创造性、可读性）需要人工评分，适合做小样本深度评估。两者不可互相替代。

4.3 案例拆解：电商评论分类任务的评估标准设定

我们以一个真实的电商场景为例，完整演示评估目标设定的全过程。

背景与约束：某电商平台希望使用LLM对用户评论进行自动分类，分类标签为“质量好”、“质量差”、“物流快”、“物流慢”、“客服好”、“客服差”、“其他”七类。业务方要求：① 分类准确率不低于85%；② 单条评论的推理延迟小于500ms；③ 系统需要能处理中英文混合的评论。

初始现象与目标：最初使用一个简单的提示词模板，发现模型经常将“质量好”和“客服好”混淆（因为评论中可能同时提到两者）。业务方希望明确评估标准，以便后续优化提示词。

关键输入数据：我们收集了1000条已人工标注的评论作为测试集。其中，有150条评论同时包含“质量好”和“物流快”两个标签，属于多标签样本。

分析判断过程：

任务类型识别：这是一个多标签文本分类任务，而非单标签分类。因此，不能简单地使用“准确率”作为唯一指标，因为准确率在多标签场景下会低估模型性能。
维度拆解：我们决定采用“微平均F1”和“宏平均F1”作为主要指标。微平均F1能反映整体分类效果，宏平均F1能反映小类别（如“客服差”）的分类效果。
失败模式分析：通过初步测试，发现模型存在“标签遗漏”问题——当评论同时包含多个标签时，模型只输出一个标签。因此，我们增加了“标签覆盖率”指标，即模型输出的标签数占人工标注标签数的比例。

实际操作步骤：

# 评估脚本伪代码
def evaluate_model(test_set, model_predict):
    y_true = [sample['labels'] for sample in test_set]  # 人工标注的标签集合
    y_pred = [model_predict(sample['text']) for sample in test_set]
    
    # 计算微平均F1
    micro_f1 = f1_score(y_true, y_pred, average='micro')
    # 计算宏平均F1
    macro_f1 = f1_score(y_true, y_pred, average='macro')
    # 计算标签覆盖率
    coverage = sum([len(set(t) & set(p)) / len(set(t)) for t, p in zip(y_true, y_pred)]) / len(y_true)
    
    return {'micro_f1': micro_f1, 'macro_f1': macro_f1, 'coverage': coverage}

结果对比与复盘：通过设定上述评估标准，我们发现初始提示词的微平均F1为0.82，但宏平均F1仅为0.65，说明模型对“客服差”等小类别识别不佳。标签覆盖率仅为0.78，说明存在严重的标签遗漏。基于这些数据，我们优化了提示词，明确要求模型“如果评论中同时提到多个方面，请输出所有相关标签”，最终将宏平均F1提升至0.78，标签覆盖率提升至0.95。

风险提示：在设定评估标准时，不要只关注“平均指标”。如果业务方特别关注某一类错误（如将“质量差”误判为“质量好”），需要单独设定“混淆矩阵”级别的指标，并设置不可逾越的红线。例如，本案例中，业务方要求“质量差”的召回率不得低于90%，因为漏掉负面评价会导致客诉风险。

4.4 常见误区与总结复盘

在评估目标设定过程中，我们总结了以下四个常见误区，供大家参考：

误区一：指标越多越好。实际上，过多的指标会导致评估过程复杂化，且指标之间可能相互矛盾。建议每个任务设定3-5个核心指标，并明确优先级。
误区二：忽视“负类”指标。在分类任务中，只关注正类的准确率，而忽略了负类的误报率。例如，在垃圾邮件过滤中，将正常邮件误判为垃圾邮件的代价远高于漏掉一封垃圾邮件。
误区三：静态评估，不做回归。评估标准一旦设定，就一成不变。实际上，随着模型迭代和业务变化，评估标准需要定期回顾和调整。建议建立“评估基线”机制，每次提示词修改后，都跑一遍回归测试。
误区四：忽略成本指标。对于生成类任务，消耗和延迟是重要的成本指标。如果两个提示词效果相近，但一个消耗多30%，那么从成本角度考虑，应选择后者。

总结复盘：评估目标设定的本质，是将“模糊的业务期望”转化为“清晰的模型行为约束”。通过任务类型识别、维度拆解、指标量化、阈值设定这四个步骤，我们可以为每一个提示词项目建立一套科学的“度量衡”。请记住，评估标准不是用来“证明”模型好坏的，而是用来“指导”我们如何改进提示词的。一个优秀的提示词工程师，必然是一个优秀的“评估标准设计师”。