VIP20
本课程属于：007-大模型部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型部署性能基准测试项目案例

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
了解大模型部署性能基准测试的意义 · 应用场景 · 课程目标与整体学习路径
课程导入了解大模型部署性…
02
大模型部署基础
掌握大模型推理的基本流程 · 部署方式（云端 · 边缘
大模型部署基础掌握大模型推理的…
03
性能基准测试核心概念
理解吞吐量 · 延迟 · 首令牌时间（TTFT）
性能基准测试核心…理解吞吐量
04
测试环境搭建
学习如何配置硬件（GPU · CPU · 内存）
测试环境搭建GPU
05
基准测试工具选型
对比常用基准测试工具（如LLMPer… · vLLM benchmark · HuggingFace benchm…
基准测试工具选型LLMPer
06
测试数据集与负载设计
学习如何构造代表性测试数据（提示词长… · 生成长度 · 话题分布）以及模拟真实用户负载（并发
测试数据集负载设计
07
性能指标测量方法
掌握各指标（TTFT · ITL · 吞吐量
性能指标测量方法TTFT
08
基准测试流程设计
从目标设定 · 场景定义 · 参数配置到执行与记录的标准流程
基准测试流程设计从目标设定
09
单模型基准测试实战
使用vLLM部署一个开源大模型（如L… · 执行基础性能测试并记录结果
单模型基准测试实…vLLM
10
多模型对比测试
在同一硬件上测试不同模型（如不同参数… · 量化版本）的性能差异 · 并分析原因
多模型对比测试同一硬件上测试不…
11
不同推理引擎对比
对同一模型分别使用vLLM · TensorRT-LLM · TGI进行测试
不同推理引擎对比vLLM
12
量化对性能的影响
测试FP16 · INT8 · INT4等量化配置下的性能变化
量化对性能的影响FP16
13
批处理与并发优化
通过调整批处理大小 · 并发数 · 调度策略
批处理并发优化
14
长上下文场景测试
设计长提示词和长生成任务 · 评估模型在长序列下的性能表现与显存占…
长上下文场景测试设计长提示词
15
性能瓶颈分析
学习使用nvidia-smi · nsight · profiler等工具定位计算
性能瓶颈分析nvidia-smi
16
结果可视化与报告
使用图表（折线图 · 柱状图 · 热力图）展示性能数据
结果可视化报告
17
自动化测试脚本开发
编写Python脚本实现一键式基准测… · 包括参数化 · 日志记录
自动化测试脚本开…Python
18
持续集成中的性能测试
将基准测试集成到CI/CD流程 · 实现回归检测与性能监控
持续集成性能测试
19
多GPU与分布式部署测试
学习张量并行 · 流水线并行等分布式推理的配置与性能测…
GPU分布式部署测试
20
边缘设备部署测试
在Jetson等边缘设备上部署轻量模… · 测试其性能与功耗
边缘设备部署测试Jetson
21
性能调优策略
基于测试结果 · 应用KV Cache优化 · 算子融合
性能调优策略基于测试结果
22
常见问题与解决方案
总结测试中遇到的显存溢出 · 延迟抖动 · 结果不一致等问题的排查与修复
常见问题解决方案
23
基准测试的公平性与可重复性
讨论如何控制变量 · 多次运行取均值 · 随机种子设置等确保测试可信
基准测试的公平性可重复性
24
性能与成本分析
结合云服务定价 · 评估不同配置下的性能/成本比 · 辅助选型决策
性能成本分析
25
案例实战
某企业智能客服场景的部署性能基准测试… · 从需求分析到最终报告
案例实战某企业智能客服场…
26
案例实战
大模型API服务性能压测 · 模拟高并发请求 · 评估SLA达标情况
案例实战API
27
案例实战
多模型A/B测试 · 对比两个微调版本在性能上的差异 · 支持模型上线决策
案例实战A/B
28
综合项目
设计并执行一个完整的基准测试项目 · 包括环境搭建 · 测试设计
综合项目设计并执行一个完…
29
前沿趋势与扩展
了解最新的大模型部署优化技术（如投机… · PagedAttention）及其对…
前沿趋势扩展
30
课程总结与考核
回顾核心知识点 · 完成综合测试题 · 并指导学员开展自主基准测试项目
课程总结考核