所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

GPU大模型推理原理与优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · GPU大模型推理的行业背景与挑战
课程导入学习目标
02
GPU基础架构
GPU硬件组成（SM · 显存 · 带宽）
GPU基础架构
03
大模型推理基础
Transformer架构 · 自注意力机制 · KV Cache概念
大模型推理基础Transformer
04
推理性能指标
延迟 · 吞吐量 · 首延迟
推理性能指标延迟
05
显存占用分析
模型权重 · 激活值 · KV Cache的显存计算
显存占用分析模型权重
06
批处理与动态批处理
静态批处理 · 动态批处理 · 连续批处理（Continuous B…
批处理动态批处理
07
KV Cache优化
KV Cache的内存管理 · PagedAttention · vLLM的块管理机制
KVCache
08
模型并行策略
张量并行 · 流水线并行 · 数据并行
模型并行策略张量并行
09
量化基础
量化原理（INT8 · FP8 · INT4）
量化基础INT8
10
权重量化与激活量化
· AWQ · SmoothQuant等主流量化方法
权重量化激活量化
11
稀疏化与剪枝
结构化剪枝 · 非结构化剪枝 · 4稀疏性
稀疏化剪枝
12
推理引擎与框架
vLLM · TensorRT-LLM · FasterTransformer
推理引擎框架
13
算子融合与内核优化
FlashAttention · 融合GELU · 融合LayerNorm等算子融合技术
算子融合内核优化
14
解码优化
投机解码（Speculative D… · 并行解码 · 树形解码等加速自回归生成的方法
解码优化Speculative
15
前缀缓存与提示优化
前缀共享 · 提示缓存 · 提示压缩
前缀缓存提示优化
16
服务调度与负载均衡
请求调度算法 · 抢占与优先级 · 多模型复用
服务调度负载均衡
17
推理性能剖析工具
Nsight Systems · Nsight Compute · PyTorch Profiler等工…
推理性能剖析工具Nsight
18
端到端推理流程实战
从模型加载 · 优化 · 部署到服务化调用的完整流程
端到端推理流程实…从模型加载
19
量化实战
使用或AWQ对模型进行量化 · 对比量化前后的显存占用 · 吞吐与精度
量化实战
20
KV Cache优化实战
配置vLLM的PagedAttent… · 调整块大小 · 观察对吞吐和延迟的影响
KVCache
21
连续批处理实战
在vLLM中启用连续批处理 · 对比静态批处理的性能差异
连续批处理实战vLLM
22
投机解码实战
实现或配置投机解码 · 测量加速比与额外显存开销
投机解码实战实现或配置投机解…
23
多GPU推理实战
使用张量并行或流水线并行在多个GPU… · 并测试扩展效率
GPU推理实战
24
常见问题与故障排查
OOM · 显存碎片 · CUDA错误
常见问题故障排查
25
性能调优方法论
系统化调优流程 · 从算法 · 算子
性能调优方法论系统化调优流程
26
前沿技术
MoE（混合专家）推理 · 稀疏注意力 · 长上下文推理
前沿技术MoE
27
成本与能效优化
推理成本估算 · 绿色计算 · 低精度推理与硬件选型
成本能效优化
28
综合项目
设计并实现一个高吞吐 · 低延迟的大模型推理服务 · 涵盖优化全流程
综合项目设计并实现一个高…
29
课程总结与进阶路径
核心知识点回顾 · 常见误区 · 推荐学习资源与研究方向
课程总结进阶路径
30
结课考核
综合测试与实战项目答辩 · 评估学员对GPU大模型推理原理与优化…
结课考核综合测试