VIP8
本课程属于：009-大模型服务部署与API工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型部署DeepSpeed推理实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程适用人群 · 大模型推理部署的挑战与DeepSpe…
课程导入学习目标
02
环境准备
安装DeepSpeed · PyTorch · CUDA
环境准备DeepSpeed
03
大模型推理基础
Transformer架构 · 自回归生成 · KV Cache
大模型推理基础Transformer
04
DeepSpeed推理概述
DeepSpeed-Inferenc… · 与训练的区别 · 推理优化技术概览（模型并行
DeepSpeed推理概述
05
模型加载与量化
使用from_pretrained加… · 理解FP16/BF16/INT8量化… · DeepSpeed的量化支持
模型加载量化
06
DeepSpeed推理引擎初始化
使用init_inference配置… · 设置模型并行度 · 替换策略
DeepSpeed推理引擎初始化
07
张量并行与模型并行
DeepSpeed的自动张量并行切分… · 如何将模型分布到多GPU · 通信开销分析
张量并行模型并行
08
内核融合优化
融合注意力 · 融合MLP · 融合LayerNorm等内核优化
内核融合优化融合注意力
09
KV Cache优化
缓存管理 · 动态分配 · 缓存复用
KVCache
10
推理性能评估
测量延迟 · 吞吐量 · 显存占用
推理性能评估测量延迟
11
单GPU推理实战
以或LLaMA-7B为例 · 使用DeepSpeed在单卡上完成推…
GPU推理实战
12
多GPU推理实战
使用张量并行在2/4/8卡上部署大模… · 对比单卡与多卡性能差异
GPU推理实战
13
模型量化实战
使用DeepSpeed的INT8量化… · 对比量化前后精度与速度 · 处理量化误差
模型量化实战DeepSpeed
14
与Hugging Face集成
通过DeepSpeed集成HF模型 · 使用pipeline或generat…
HuggingFace
15
自定义模型推理
将自定义Transformer模型适… · 处理自定义层与算子
自定义模型推理Transformer
16
推理服务化
使用FastAPI或Flask封装D… · 实现HTTP服务与并发请求处理
推理服务化FastAPI
17
批处理与动态批
实现动态批处理（continuous… · 提高GPU利用率 · DeepSpeed的批处理支持
批处理动态批
18
长序列推理
处理长文本生成 · 优化KV Cache内存 · 使用窗口注意力或稀疏注意力
长序列推理处理长文本生成
19
推理内存管理
显存优化技术（offload · activation checkpo… · DeepSpeed的ZeRO-Inf…
推理内存管理offload
20
ZeRO-Inference详解
利用ZeRO-Offload将参数卸… · 实现超大模型单卡推理 · 配置与性能权衡
ZeRO-Inferen…ZeRO-Offload
21
常见问题排查
OOM · 精度下降 · 速度慢
常见问题排查OOM
22
性能调优实战
通过调整并行度 · 量化 · 批大小
性能调优实战通过调整并行度
23
与vLLM对比
DeepSpeed推理与vLLM的P… · 适用场景与选型建议
vLLM对比
24
与TensorRT-LLM对比
DeepSpeed推理与Tensor… · 如何根据硬件选择
TensorRT-LLM对比
25
多模态模型推理
使用DeepSpeed部署视觉-语言… · 处理图像与文本输入
多模态模型推理DeepSpeed
26
分布式推理部署
在多节点上使用DeepSpeed推理 · 配置RDMA/InfiniBand · 实现跨节点并行
分布式推理部署DeepSpeed
27
生产环境部署
容器化（Docker） · Kubernetes编排 · 自动扩缩容
生产环境部署Docker
28
安全与稳定性
模型推理的输入验证 · 防止提示注入 · 服务高可用与故障恢复
安全稳定性
29
综合实战项目
端到端部署一个10B级大模型（如LL… · 包含性能测试与调优报告
综合实战项目LL
30
课程总结与进阶
回顾核心知识点 · 推荐学习资源 · 探讨DeepSpeed推理的未来趋势…
课程总结进阶