VIP20
本课程属于：007-大模型部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型部署资源规划避坑指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
大模型部署的现状与挑战 · 资源规划的重要性 · 课程目标与学习路径
课程导入大模型部署的现状
02
大模型基础与部署形态
了解大模型的基本架构 · 参数量与计算需求 · 掌握云端
大模型基础部署形态
03
资源规划核心概念
算力 · 内存 · 显存
资源规划核心概念算力
04
模型量化与资源需求
量化原理（INT8 · FP16 · INT4等）
模型量化资源需求
05
推理引擎与框架选型
TensorRT · vLLM · ONNX Runtime
推理引擎框架选型
06
显存估算与优化
模型权重 · 激活值 · KV Cache等显存占用计算
显存估算优化
07
CPU与内存规划
CPU算力需求 · 内存带宽与容量规划 · 大模型推理中CPU与GPU的协同
CPU内存规划
08
存储规划
模型文件存储 · 数据集缓存 · 日志与检查点存储
存储规划模型文件存储
09
网络与带宽规划
分布式推理中的通信需求 · 内网带宽 · 延迟对推理性能的影响
网络带宽规划
10
单机单卡部署实战
以7B模型为例 · 从零规划单卡部署的资源需求 · 包括显存
单机单卡部署实战以7B模型为例
11
单机多卡部署实战
多卡并行策略（张量并行 · 流水线并行） · 多卡资源分配与通信优化
单机多卡部署实战多卡并行策略
12
多机多卡分布式部署
分布式推理框架（Ray · Horovod等） · 跨节点资源规划与容错设计
多机多卡分布式部…Ray
13
推理性能调优
吞吐量 · 延迟 · 并发数的权衡
推理性能调优吞吐量
14
服务化部署与资源管理
使用Kubernetes · Docker等容器化部署 · 资源配额
服务化部署资源管理
15
模型压缩与资源节省
剪枝 · 蒸馏 · 低秩分解等压缩技术
模型压缩资源节省
16
冷启动与热加载
模型加载时间优化 · 内存映射 · 预加载
冷启动热加载
17
高并发场景资源规划
并发请求量估算 · 排队机制 · 资源池设计
高并发场景资源规…并发请求量估算
18
成本估算与预算控制
云服务定价模型（按需 · 预留 · Spot）
成本估算预算控制
19
监控与告警
资源使用率监控（GPU · 内存 · 网络）
监控告警
20
常见坑点与规避
显存溢出 · OOM · 内存泄漏
常见坑点规避
21
案例实战
基于开源模型（如LLaMA · ChatGLM）的部署资源规划全流程 · 从需求分析到上线
案例实战LLaMA
22
案例实战
企业级大模型服务部署 · 多租户资源隔离 · SLA保障
案例实战企业级大模型服务…
23
边缘设备部署资源规划
移动端 · 嵌入式设备的资源限制 · 模型轻量化与推理优化
边缘设备部署资源…移动端
24
混合云与多云部署
跨云资源规划 · 数据安全与合规 · 网络延迟优化
混合云多云部署
25
模型更新与版本管理
模型热更新 · 回滚机制 · 资源预留与切换策略
模型更新版本管理
26
安全与稳定性
模型推理的可靠性 · 故障转移 · 备份与恢复
安全稳定性
27
性能基准测试
如何设计基准测试 · 测量资源消耗与性能指标 · 对比不同配置
性能基准测试如何设计基准测试
28
自动化资源规划工具
使用AutoML · 资源估算工具（如GPU-Poor等） · 自动化生成资源方案
自动化资源规划工…AutoML
29
综合实战项目
从零构建一个完整的大模型部署系统 · 包括资源规划 · 部署
综合实战项目从零构建一个完整…
30
课程总结与进阶方向
回顾核心要点 · 常见误区总结 · 未来趋势（如稀疏化
课程总结进阶方向