所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

大模型评估方法:基准测试与评估指标详解

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 大模型评估的重要性与挑战
课程导入学习目标
02
大模型评估基础
评估的定义 · 评估与训练的关系 · 评估的层次（能力
大模型评估基础评估的定义
03
常见评估术语
准确率 · 召回率 · F1
常见评估术语准确率
04
基准测试概述
什么是基准测试 · 基准测试的构成要素 · 设计原则与分类
基准测试概述什么是基准测试
05
经典语言理解基准
GLUE · SuperGLUE的组成 · 任务类型
经典语言理解基准GLUE
06
生成任务基准
BLEU · ROUGE · METEOR
生成任务基准BLEU
07
问答与推理基准
SQuAD · RACE · MMLU
问答推理基准
08
多轮对话评估
对话质量评估维度 · DSTC · MultiWOZ等基准
多轮对话评估对话质量评估维度
09
代码生成评估
HumanEval · MBPP · CodeXGLUE等基准
代码生成评估HumanEval
10
大模型综合能力基准
MMLU · BIG-bench · HELM等综合基准的设计理念
大模型综合能力基…MMLU
11
指令遵循与对齐评估
AlpacaEval · MT-Bench · IFEval等基准
指令遵循对齐评估
12
安全与有害内容评估
毒性检测 · 偏见评估 · TruthfulQA
安全有害内容评估
13
事实性与幻觉评估
FactScore · TruthfulQA · RAG评估中的忠实度指标
事实性幻觉评估
14
鲁棒性与泛化评估
对抗样本 · 分布偏移 · OOD评估
鲁棒性泛化评估
15
效率与资源评估
推理速度 · 内存占用 · 能耗
效率资源评估
16
人工评估方法
人工评估的流程 · 评分量表 · 成对比较
人工评估方法人工评估的流程
17
自动评估与LLM-as-a-Judge
使用大模型作为评估器的原理 · Prompt设计 · 偏差与校准
LLM-as-a-Jud…自动评估
18
评估指标的选择与组合
不同任务如何选择指标 · 多指标权衡 · 综合评分方法（如F1
评估指标的选择组合
19
评估数据集构建
数据收集 · 清洗 · 标注
评估数据集构建数据收集
20
评估流程与工具
评估流水线设计 · 常用评估框架（如lm-evaluat… · OpenCompass
评估流程工具
21
案例实战
使用OpenCompass评估一个开… · 并解读结果
案例实战OpenCompass
22
案例实战
使用lm-evaluation-ha… · 计算各项指标并分析模型弱点
案例实战lm-evaluatio…
23
案例实战
设计一个针对特定业务场景（如客服）的… · 包括基准选择 · 指标定制和人工评估流程
案例实战设计一个针对特定…
24
案例实战
使用LLM-as-a-Judge评估… · 并对比人工评估结果 · 分析一致性
案例实战LLM-as-a-Jud…
25
常见问题与陷阱
数据泄漏 · 指标误用 · 基准饱和
常见问题陷阱
26
评估结果的可解释性
如何分析评估结果 · 错误分析 · 模型能力画像
评估结果的可解释…如何分析评估结果
27
大模型评估的前沿趋势
动态基准 · 自适应测试 · 元评估
大模型评估的前沿…动态基准
28
综合项目
为一个特定领域（如医疗 · 法律）构建完整的评估体系 · 包括基准选择
综合项目为一个特定领域
29
课程总结
核心知识点回顾 · 常见误区梳理 · 评估方法论总结
课程总结核心知识点回顾
30
综合提升与考试
综合案例分析 · 实战演练 · 课程测验与结业项目指导
综合提升考试