首页
›
实战100例
›
016-大模型部署与推理优化实战
›
《主流LLM推理引擎部署与对比实战100例》
VIP15
本课程属于：016-大模型部署与推理优化实战
实战100例 · 共 15 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
《主流LLM推理引擎部署与对比实战100例》
共 100 例
01
vLLM 单机部署与 兼容接口测试
02
TGI 单机部署与文本生成测试
03
SGLang 单机部署与性能初测
04
TensorRT-LLM 单机部署与精度验证
05
llama.cpp 单机 CPU 部署与量化推理
06
Ollama 快速部署与模型管理
07
LMDeploy 部署与 TurboMind 后端测试
08
MLC-LLM 部署与 TVM 编译优化
09
DeepSpeed-MII 部署与低延迟推理
10
OpenLLM 部署与多后端切换
11
vLLM 连续批处理与吞吐量测试
12
TGI 动态批处理与并发请求处理
13
SGLang 结构化生成与 JSON 模式输出
14
TensorRT-LLM 量化部署与 INT8/FP8 精度对比
15
llama.cpp 多模态模型部署（LLaVA）
16
Ollama 自定义模型创建与 Modelfile 编写
17
LMDeploy 量化部署与 AWQ 算法应用
18
MLC-LLM 跨平台部署（iOS/Android）
19
DeepSpeed-MII 与 ZeRO-Inference 集成
20
OpenLLM 与 LangChain 集成
21
vLLM PagedAttention 显存优化测试
22
TGI 与 Hugging Face Hub 模型加载
23
SGLang 多模态模型部署（LLaVA）
24
TensorRT-LLM 多 GPU 张量并行部署
25
llama.cpp 与 llama-server 交互
26
Ollama 与 兼容接口对比
27
LMDeploy 与 vLLM 吞吐量对比
28
MLC-LLM 与 WebGPU 浏览器推理
29
DeepSpeed-MII 与 Hugging Face 集成
30
OpenLLM 与 Gradio 构建聊天界面
31
vLLM 与 LoRA 微调模型部署
32
TGI 与 LoRA 适配器加载
33
SGLang 与 LoRA 多模型并发部署
34
TensorRT-LLM 与 LoRA 支持
35
llama.cpp 与 LoRA 模型加载
36
Ollama 与 LoRA 模型支持
37
LMDeploy 与 LoRA 部署
38
MLC-LLM 与 LoRA 编译部署
39
DeepSpeed-MII 与 LoRA 推理
40
OpenLLM 与 LoRA 适配器集成
41
vLLM 与 AWQ 量化模型部署
42
TGI 与 量化模型部署
43
SGLang 与 INT8 量化部署
44
TensorRT-LLM 与 SmoothQuant 量化
45
llama.cpp 与 GGUF 量化格式转换
46
Ollama 与 GGUF 模型导入
47
LMDeploy 与 INT4 量化部署
48
MLC-LLM 与 量化支持
49
DeepSpeed-MII 与量化推理
50
OpenLLM 与量化模型加载
51
vLLM 与多模态模型（LLaVA）部署
52
TGI 与多模态模型（IDEFICS）部署
53
SGLang 与多模态模型（LLaVA）部署
54
TensorRT-LLM 与视觉模型部署
55
llama.cpp 与多模态模型（LLaVA）部署
56
Ollama 与多模态模型（LLaVA）部署
57
LMDeploy 与多模态模型部署
58
MLC-LLM 与多模态模型部署
59
DeepSpeed-MII 与多模态模型部署
60
OpenLLM 与多模态模型部署
61
vLLM 与流式输出
62
TGI 与流式生成
63
SGLang 与流式输出
64
TensorRT-LLM 与流式推理
65
llama.cpp 与流式生成
66
Ollama 与流式响应
67
LMDeploy 与流式输出
68
MLC-LLM 与流式生成
69
DeepSpeed-MII 与流式推理
70
OpenLLM 与流式响应
71
vLLM 与多轮对话管理
72
TGI 与对话模板应用
73
SGLang 与多轮对话优化
74
TensorRT-LLM 与对话会话
75
llama.cpp 与多轮对话
76
Ollama 与多轮对话
77
LMDeploy 与多轮对话
78
MLC-LLM 与多轮对话
79
DeepSpeed-MII 与多轮对话
80
OpenLLM 与多轮对话
81
vLLM 与批处理请求优化
82
TGI 与批处理请求
83
SGLang 与批处理请求
84
TensorRT-LLM 与批处理推理
85
llama.cpp 与批处理生成
86
Ollama 与并发请求
87
LMDeploy 与批处理优化
88
MLC-LLM 与批处理推理
89
DeepSpeed-MII 与批处理推理
90
OpenLLM 与批处理请求
91
vLLM 与分布式推理（多节点）
92
TGI 与多 GPU 张量并行
93
SGLang 与多 GPU 部署
94
TensorRT-LLM 与流水线并行
95
llama.cpp 与多 GPU 支持
96
Ollama 与多 GPU 配置
97
LMDeploy 与多 GPU 部署
98
MLC-LLM 与多 GPU 部署
99
DeepSpeed-MII 与多 GPU 推理
100
OpenLLM 与多 GPU 部署
所属VIP或分类
同VIP：DeepSpeed-ZeRO训练优化实战100例
同VIP：DeepSpeed大模型训练优化库实战100例
同VIP：FlashAttention推理优化实战100例