VIP20

本课程属于：007-大模型部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

大模型部署环境搭建系统学习

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

大模型部署环境搭建的整体学习路径 · 目标与核心挑战 · 以及本课程将覆盖的硬件

课程导入大模型部署环境搭…

大模型部署基础概念

理解推理与训练的区别 · 部署环境的关键要素（GPU · 驱动

大模型部署基础概…理解推理

硬件选型与资源评估

如何根据模型规模（参数数量 · 精度）选择GPU（显存 · 带宽

硬件选型资源评估

操作系统与基础环境准备

推荐Linux发行版（Ubuntu · CentOS）的安装与配置 · 包括用户权限

操作系统基础环境准备

GPU驱动安装与验证

NVIDIA驱动版本选择 · 安装步骤（runfile · apt

GPU驱动安装

CUDA与cuDNN安装配置

CUDA版本与驱动兼容性 · 安装方式（runfile · deb

Python环境管理

使用Miniconda/Anacon… · 管理Python版本（3.8-3.1… · pip与conda的配置（镜像源

Python环境管理

深度学习框架安装

PyTorch · TensorFlow · PaddlePaddle的GPU版本…

深度学习框架安装PyTorch

模型转换与优化工具链

了解ONNX · TensorRT · OpenVINO

模型转换优化工具链

容器化部署环境

Docker的安装与配置 · NVIDIA Container T… · 拉取并运行GPU容器（如PyTorc…

容器化部署环境Docker

大模型推理框架部署

vLLM · TGI（Text Generatio… · FastChat

大模型推理框架部…vLLM

模型下载与存储管理

Hugging Face Hub · ModelScope等模型仓库的使用 · 下载模型（huggingface-c…

模型下载存储管理

环境变量与系统配置

PATH · LD_LIBRARY_PATH · CUDA_HOME等环境变量的设置

环境变量系统配置

依赖冲突与版本管理

使用pip freeze · conda env export锁定… · 解决常见依赖冲突（如numpy版本

依赖冲突版本管理

性能监控与调优基础

使用nvidia-smi · nvtop · htop

性能监控调优基础

常见部署问题排查

GPU不可见 · CUDA out of memory · 驱动版本不匹配

常见部署问题排查GPU

实战案例一

部署一个7B参数模型（如Llama… · 模型下载 · 使用vLLM启动推理服务

实战案例一Llama

实战案例二

多GPU环境下的模型并行部署 · 配置多卡环境（NCCL · RDMA）

实战案例二GPU

实战案例三

CPU环境下的模型部署 · 配置OpenBLAS/MKL · 优化线程数

实战案例三CPU

实战案例四

基于Docker的云端部署 · 阿里云）上搭建Docker环境 · 部署模型服务

实战案例四Docker

安全与权限管理

设置非root用户运行服务 · 文件权限管理 · 防火墙与安全组配置

安全权限管理

自动化部署脚本

编写Shell/Python脚本自动… · 模型下载 · 服务启动

自动化部署脚本Shell/Python

模型量化与低精度部署

了解GPTQ · AWQ · GGUF等量化方法

模型量化低精度部署

推理服务API封装

使用FastAPI或Flask封装模… · 处理请求/响应格式 · 支持流式输出

API推理服务

日志与监控系统

配置日志记录（loguru · logging） · 使用Prometheus+Grafa…

日志监控系统

版本控制与可复现性

使用Git管理配置文件 · Docker镜像标签管理 · conda环境导出

版本控制可复现性

性能基准测试

使用benchmark工具（如vLL… · lm-eval-harness）测试… · 延迟

性能基准测试benchmark

多模型管理与动态加载

部署多个模型服务 · 使用模型路由（如Ray Serve · NVIDIA Triton）

多模型管理动态加载

边缘设备部署

在Jetson · 树莓派等边缘设备上搭建环境 · 使用TensorRT或ONNX Ru…

边缘设备部署Jetson

综合项目实战

从零开始搭建一个生产级大模型部署环境 · 包括硬件选型 · 系统配置

综合项目实战从零开始搭建一个…