VIP5
本课程属于：153-大模型Benchmark与评测工程 AI智能与边缘计算工程 · 共 5 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型综合评估与性能优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
大模型评估与优化的背景 · 学习目标 · 课程框架
课程导入大模型评估
02
大模型基础与评估概览
大模型的基本架构（Transform… · 预训练与微调流程 · 评估的定义
大模型基础评估概览
03
评估数据集构建
公开数据集（MMLU · HELM · GLUE
评估数据集构建MMLU
04
生成质量评估
文本生成指标（BLEU · ROUGE · METEOR
生成质量评估BLEU
05
推理与知识评估
常识推理 · 逻辑推理 · 数学推理（GSM8K
推理知识评估
06
安全与对齐评估
有害内容检测 · 偏见与公平性评估 · 越狱攻击测试
安全对齐评估
07
多模态与长文本评估
多模态大模型（图像 · 视频 · 音频）的评估指标与基准
多模态长文本评估
08
评估框架与工具
主流评估框架（ Eval… · lm-evaluation-harn… · DeepEval
评估框架工具
09
性能优化基础
性能优化的目标（延迟 · 吞吐 · 内存
性能优化基础性能优化的目标
10
模型压缩技术
剪枝（结构化/非结构化） · 量化（PTQ · QAT
模型压缩技术剪枝
11
推理加速技术
KV Cache · FlashAttention · PagedAttention
推理加速技术KV
12
分布式推理与部署
模型并行（张量并行 · 流水线并行） · 多GPU推理
分布式推理部署
13
服务化与工程优化
API设计 · 请求调度 · 缓存策略
服务化工程优化
14
评估与优化的联合实践
如何用评估结果指导优化方向 · A/B测试 · 回归测试
评估优化的联合实践
15
案例实战
基于开源大模型（如Llama 3）完… · 包括基准测试 · 瓶颈定位
案例实战Llama
16
常见问题与解决方案
评估指标与人类感知不一致 · 过拟合评估集 · 优化后质量下降
常见问题解决方案
17
前沿趋势与综合提升
大模型评估与优化的最新研究（如自适应… · 在线学习 · 模型路由）
前沿趋势综合提升
18
评估指标深入
困惑度（Perplexity）与生成… · 基于LLM的评估（LLM-as-a-… · 校准与置信度评估
评估指标深入Perplexity
19
任务特定评估
代码生成（HumanEval · MBPP） · 数学解题
任务特定评估HumanEval
20
鲁棒性与泛化评估
对抗样本 · 分布偏移（OOD） · 噪声输入下的模型表现
鲁棒性泛化评估
21
效率评估
模型FLOPs · 参数量 · 推理时间
效率评估FLOPs
22
优化技术进阶
低秩适配（LoRA）在微调中的性能影… · 模型合并（Model Merging… · 稀疏化训练
优化技术进阶LoRA
23
硬件与编译器优化
GPU/TPU特性 · 算子融合 · 内核优化
硬件编译器优化
24
缓存与记忆优化
KV Cache的量化与压缩 · 上下文压缩 · 检索增强生成（RAG）对性能的影响
缓存记忆优化
25
评估自动化与平台化
构建评估数据集管理平台 · 自动化评估流水线（CI集成） · 结果可视化与报告生成
评估自动化平台化
26
性能优化案例库
针对不同场景（聊天 · 代码 · 搜索
性能优化案例库针对不同场景
27
模型服务SLA与可靠性
延迟分位数（P99） · 吞吐量 · 错误率
SLA模型服务
28
成本优化
云GPU选型 · 按需/spot实例 · 模型量化与蒸馏的成本效益分析
成本优化GPU
29
综合实战项目
从零构建一个评估与优化系统 · 包括需求分析 · 数据准备
综合实战项目从零构建一个评估
30
课程总结与认证
核心知识回顾 · 常见误区 · 最佳实践
课程总结认证