VIP8
本课程属于：009-大模型服务部署与API工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型推理服务部署项目实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 大模型推理服务部署的行业背景与核心价…
课程导入学习目标
02
大模型推理基础
Transformer架构 · 自回归生成 · KV Cache
大模型推理基础Transformer
03
推理服务核心概念
吞吐量 · 延迟 · 首延迟
推理服务核心概念吞吐量
04
主流推理框架概览
vLLM · TensorRT-LLM · TGI
主流推理框架概览vLLM
05
环境准备与依赖安装
GPU驱动 · CUDA · cuDNN
环境准备依赖安装
06
模型获取与格式转换
HuggingFace模型下载 · Safetensors与PyTorc… · GGUF与ONNX转换
模型获取格式转换
07
vLLM快速部署实战
安装vLLM · 启动兼容API服务 · 测试文本生成与流式输出
vLLM快速部署实战
08
推理参数调优
温度 · Top-p · Top-k
推理参数调优温度
09
批处理与连续批处理
动态batching · continuous batchin… · vLLM中的调度机制
批处理连续批处理
10
量化技术基础
INT8 · INT4 · FP8
量化技术基础INT8
11
量化部署实战
使用AutoAWQ或量化模型 · 并在vLLM中加载量化模型
量化部署实战AutoAWQ
12
TensorRT-LLM部署实战
模型编译 · engine构建 · 动态shape配置
TensorRT-LLM部署实战
13
TGI部署实战
HuggingFace TGI的Do… · 环境变量配置 · 与vLLM对比
TGI部署实战
14
SGLang部署实战
RadixAttention · 高效调度 · 多模态模型支持与部署示例
SGLang部署实战
15
llama.cpp本地部署
CPU/GPU混合推理 · GGUF模型加载 · llama-server使用
llama.cpp本地部署
16
多GPU推理与张量并行
张量并行 · 流水线并行 · 数据并行在推理中的实现与配置
GPU推理
17
推理服务高并发优化
请求队列 · 并发控制 · 超时处理
推理服务高并发优…请求队列
18
流式输出与WebSocket
SSE协议 · 流式生成实现 · WebSocket集成与前端交互
WebSocket流式输出
19
API服务设计与兼容
路由设计 · 鉴权 · 限流
API
20
推理服务监控与日志
Prometheus指标 · Grafana面板 · 日志收集
推理服务监控日志
21
性能基准测试
使用Benchmark工具（如vLL… · wrk）测量吞吐与延迟 · 并解读结果
性能基准测试Benchmark
22
常见推理问题排查
OOM · CUDA error · 模型加载失败
常见推理问题排查OOM
23
生产环境部署
Docker镜像构建 · Kubernetes部署 · 自动扩缩容
生产环境部署Docker
24
推理服务安全
模型权限控制 · 输入过滤 · 输出安全
推理服务安全模型权限控制
25
多模型管理与路由
多模型加载 · 模型热切换 · 基于请求的路由策略
多模型管理路由
26
长上下文推理优化
位置编码 · 窗口注意力 · 上下文压缩
长上下文推理优化位置编码
27
推理加速前沿技术
投机解码 · 并行解码 · Medusa
推理加速前沿技术投机解码
28
端侧与边缘部署
移动端/嵌入式设备上的模型压缩与推理… · NCNN）
端侧边缘部署
29
综合实战项目
从零搭建一个高可用的大模型推理服务 · 包含模型量化 · API服务
综合实战项目从零搭建一个高可…
30
课程总结与进阶方向
常见问题回顾 · 最佳实践 · 未来趋势（如推理芯片
课程总结进阶方向