所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

主流LLM推理引擎部署与对比

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 主流LLM推理引擎概览（vLLM
课程导入学习目标
02
LLM推理基础
Transformer架构 · 自回归生成 · KV Cache
LLM推理基础
03
推理优化技术概览
量化（INT8/INT4/FP8） · 投机解码 · 连续批处理
推理优化技术概览INT8/INT4/FP…
04
环境准备与硬件选型
GPU/CPU/边缘设备选型 · CUDA/ROCm环境配置 · Docker容器化部署基础
环境准备硬件选型
05
vLLM引擎详解
核心特性（PagedAttentio… · 连续批处理） · 安装配置
vLLM引擎详解
06
vLLM实战部署
使用vLLM部署Llama 3或Qw… · 测试文本生成 · 并发请求
vLLM实战部署
07
TensorRT-LLM引擎详解
TensorRT-LLM架构 · 模型编译流程 · 引擎构建
TensorRT-LLM引擎详解
08
TensorRT-LLM实战部署
从HuggingFace模型构建Te… · 部署到NVIDIA GPU · 使用trtllm-serve或自定义…
TensorRT-LLM实战部署
09
Hugging Face TGI（Text Generation Inferen
TGI特性（连续批处理 · 张量并行） · 安装
HuggingFace
10
TGI实战部署
使用TGI部署Mistral或Lla… · 配置环境变量（如MAX_BATCH_… · 测试流式输出与并发性能
TGI实战部署
11
llama.cpp详解
轻量级CPU/GPU推理 · GGUF格式 · 量化方法（Q4_K_M等）
llama.cppCPU/GPU
12
llama.cpp实战部署
将模型转换为GGUF格式 · 使用llama-server或lla… · 在CPU和GPU上测试性能
llama.cpp实战部署
13
MLC-LLM详解
机器学习编译框架 · 跨平台支持（iOS/Android/… · 统一运行时
MLC-LLM机器学习编译框架
14
MLC-LLM实战部署
使用MLC-LLM编译并部署模型到本… · 演示API调用 · 对比其与llama.cpp在边缘设备…
MLC-LLM实战部署
15
其他引擎与框架
OpenLLM · Ray Serve · DeepSpeed-MII
其他引擎框架
16
推理引擎对比维度
性能（吞吐量 · 延迟） · 显存占用
推理引擎对比维度性能
17
基准测试方法论
标准数据集（如ShareGPT） · 负载生成工具（如wrk · ghz）
基准测试方法论ShareGPT
18
实战
基准测试对比实验 · TensorRT-LLM · TGI
基准测试对比实验TensorRT-LLM
19
量化技术深入
不同量化方案（ · AWQ · GGUF
量化技术深入
20
推理引擎的API设计
兼容API · 流式输出 · 函数调用
API推理引擎的
21
生产级部署实践
高可用架构 · 负载均衡 · 自动扩缩容
生产级部署实践高可用架构
22
常见问题与故障排查
OOM · CUDA错误 · 模型加载失败
常见问题故障排查
23
多GPU与分布式推理
张量并行 · 流水线并行 · 数据并行
GPU分布式推理
24
推理引擎与生态集成
与LangChain · LlamaIndex · FastAPI
推理引擎生态集成
25
边缘设备部署
在Jetson · 树莓派 · 手机等设备上使用llama.cpp或…
边缘设备部署Jetson
26
模型服务化与API网关
使用Nginx · Kong或Envoy作为API网关 · 管理多个推理引擎后端
API模型服务化
27
成本与性能权衡
不同引擎的TCO分析 · 云GPU实例选择 · 按需部署与Serverless推理对…
成本性能权衡
28
案例实战
企业级LLM服务搭建 · 包含监控和自动扩缩容
案例实战LLM
29
综合对比与选型决策
根据业务场景（在线低延迟 · 高吞吐离线 · 边缘部署）给出选型建议
综合对比选型决策
30
课程总结与进阶方向
回顾核心知识点 · 推荐学习资源 · 探讨未来趋势（如推测解码
课程总结进阶方向