VIP5
本课程属于：153-大模型Benchmark与评测工程 AI智能与边缘计算工程 · 共 5 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

全额支付AI大模型评测Benchmark全栈课程 MMLU GSM8K HumanEval

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
AI大模型评测的意义 · Benchmark在模型开发中的作用 · 课程整体学习路径与目标
课程导论AI
02
Benchmark基础概念
什么是基准测试 · 评测集 · 指标（Accuracy
Benchmark基础概念
03
主流大模型评测体系概览
MMLU · GSM8K · HumanEval的定位
主流大模型评测体…MMLU
04
MMLU详解（一）
MMLU的任务类型 · 学科覆盖 · 数据格式
MMLU的任务类型
05
MMLU详解（二）
MMLU的评测指标（准确率 · 宏平均/微平均） · few-shot设置
MMLU的评测指标
06
MMLU实战
使用Hugging Face或Ope… · 编写评测脚本并输出结果
MMLUHugging
07
MMLU进阶
MMLU的变体（如MMLU-Pro） · 领域细分分析 · 错误案例分析与模型能力诊断
MMLU进阶
08
GSM8K详解（一）
GSM8K的数学推理任务 · 数据来源 · 问题格式
GSM8K的数学推理任务
09
GSM8K详解（二）
GSM8K的评测指标（准确率 · 答案匹配） · few-shot与zero-shot…
GSM8K的评测指标
10
GSM8K实战
使用LangChain或自定义脚本调… · 实现答案提取与自动评分
GSM8KLangChain
11
GSM8K进阶
GSM8K的常见陷阱（格式错误 · 计算错误） · 模型数学推理能力提升策略（如自洽性
GSM8K进阶
12
HumanEval详解（一）
HumanEval的代码生成任务 · 函数签名 · 测试用例
HumanEval的代码生成任务
13
HumanEval详解（二）
HumanEval的评测流程 · 代码执行环境 · 超时处理
HumanEval的评测流程
14
HumanEval实战
使用或本地模型生成代码 · 运行单元测试 · 计算Pass@k并分析失败原因
HumanEval
15
HumanEval进阶
HumanEval的变体（如Huma… · 代码生成质量评估（语法 · 语义
HumanEval进阶
16
评测环境搭建
Python环境 · 依赖库（transformers · datasets
评测环境搭建Python
17
数据预处理与加载
从Hugging Face data… · GSM8K · HumanEval
数据预处理加载
18
模型接入与推理
调用API（ · Anthropic等）或本地模型（L… · Qwen等）
模型接入推理
19
评测脚本编写
设计统一的评测框架 · 支持多模型 · 多数据集
评测脚本编写设计统一的评测框…
20
结果分析与可视化
使用pandas · matplotlib分析评测结果 · 生成雷达图
结果分析可视化
21
评测报告撰写
如何撰写专业评测报告 · 包括实验设置 · 结果表格
评测报告撰写如何撰写专业评测…
22
常见问题与解决方案
API限流 · 超时 · 内存溢出
常见问题解决方案
23
评测的公平性与偏差
数据泄漏 · 过拟合测试集 · 模型对提示词的敏感性
评测的公平性偏差
24
多语言与多模态扩展
MMLU的多语言版本 · GSM8K的变体 · 以及多模态评测（如MMMU）的简介
多语言多模态扩展
25
综合实战项目（一）
选择一个小型模型（如Llama-3-… · GSM8K · HumanEval全流程评测
综合实战项目Llama-3
26
综合实战项目（二）
针对评测结果进行模型微调或提示词优化 · 再次评测并对比改进效果
综合实战项目针对评测结果进行…
27
综合实战项目（三）
构建一个自动化评测流水线 · 支持一键运行 · 结果存档与历史对比
综合实战项目构建一个自动化评…
28
前沿趋势与研究方向
大模型评测的新挑战（如长文本 · 推理 · 工具使用）
前沿趋势研究方向
29
课程总结与知识图谱
回顾核心知识点 · 技能树 · 常见误区
课程总结知识图谱
30
结业考核与项目答辩
完成一个自选模型的完整评测项目 · 提交报告并进行答辩 · 检验综合能力
结业考核项目答辩