所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

大模型部署实战:本地+云端部署优化技巧

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
大模型部署的行业背景 · 学习目标 · 课程整体框架与实战项目预览
课程导入大模型部署的行业…
02
大模型基础与部署概览
Transformer架构要点 · 主流开源模型（LLaMA · Qwen
大模型基础部署概览
03
部署环境准备
本地硬件选型（GPU/内存/存储） · 操作系统与驱动配置 · Python环境与CUDA/cuDN…
部署环境准备GPU
04
模型量化原理与实战
量化概念（INT8/INT4/FP1… · 量化方法（ · AWQ
模型量化原理INT8/INT4/FP…
05
推理引擎与加速框架
vLLM · TensorRT-LLM · ONNX Runtime
推理引擎加速框架
06
本地部署实战（一）
使用Hugging Face Tra… · 文本生成推理 · 单机单卡部署流程与代码实现
本地部署实战Hugging
07
本地部署实战（二）
使用Ollama部署量化模型 · 模型管理 · API调用与自定义模型配置
本地部署实战Ollama
08
本地部署实战（三）
使用vLLM部署高吞吐服务 · 并发请求处理 · 性能调优参数（max_num_seq…
本地部署实战vLLM
09
模型服务化与API设计
RESTful API构建（Fast… · 流式输出（SSE） · 请求队列与并发控制
API模型服务化
10
云端部署基础
主流云平台（AWS · 阿里云 · 腾讯云）GPU实例选择
云端部署基础AWS
11
云端部署实战（一）
在云服务器上部署vLLM服务 · 使用systemd或supervis… · 日志监控与自动重启
云端部署实战vLLM
12
云端部署实战（二）
使用容器化部署（Docker Com… · Kubernetes基础 · Helm Chart部署大模型服务
云端部署实战Docker
13
模型微调与部署联动
LoRA/QLoRA微调原理 · 微调后模型导出与合并 · 部署微调模型的注意事项
模型微调部署联动
14
推理优化进阶
KV Cache优化 · FlashAttention · 投机解码（Speculative D…
推理优化进阶KV
15
性能测试与基准
常用性能指标（延迟 · 吞吐 · TTFT
性能测试基准
16
显存优化与内存管理
显存不足的常见原因 · 模型分片（Sharding） · CPU offload
显存优化内存管理
17
多GPU与分布式部署
张量并行 · 流水线并行 · 数据并行原理
GPU分布式部署
18
模型安全与合规
模型许可证 · 数据隐私 · 输出内容安全过滤
模型安全合规
19
常见问题排查与解决
部署中遇到的典型错误（OOM · CUDA error · 模型加载失败）
常见问题排查解决
20
实战项目（一）
从零部署一个本地聊天机器人（基于Qw… · 包含量化 · API封装
实战项目Qw
21
实战项目（二）
在云端部署一个高并发文本生成服务 · 使用负载均衡 · 自动扩缩容（K8s HPA）
实战项目云端部署一个高并…
22
实战项目（三）
部署一个RAG（检索增强生成）系统 · 结合向量数据库（如Milvus · FAISS）与LLM
实战项目RAG
23
模型压缩与蒸馏
知识蒸馏原理 · 模型剪枝 · 蒸馏部署案例
模型压缩蒸馏
24
推理成本优化
按需实例与Spot实例选择 · 弹性伸缩策略 · 模型缓存与复用
推理成本优化Spot
25
边缘设备部署
移动端/嵌入式设备部署方案（MNN · NCNN · TFLite）
边缘设备部署MNN
26
部署自动化与CI/CD
模型版本管理（DVC · MLflow） · 自动化测试
CI/CD部署自动化
27
监控与日志系统
Prometheus + Grafa… · 日志收集（ELK） · 异常检测与告警
监控日志系统
28
模型更新与回滚
在线模型热更新 · A/B测试 · 金丝雀发布
模型更新回滚
29
综合实战
设计一个完整的部署方案 · 从需求分析 · 技术选型
综合实战设计一个完整的部…
30
课程总结与进阶方向
回顾核心知识点 · 常见误区 · 大模型部署前沿趋势（如推理优化新硬件
课程总结进阶方向