VIP20

本课程属于：054-单细胞空间整合特征学习任务 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

云端GPU推理部署实践指南

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

云端GPU推理概述

为什么需要云端GPU推理？应用场景与…

GPU计算基础

CUDA · cuDNN · TensorRT等GPU软件栈介绍

GPU计算基础

主流云GPU服务商

AWS · Azure · GCP

云GPU实例选型

根据模型大小 · 延迟 · 吞吐量选择合适实例

GPU实例选型

推理框架概述

TensorFlow Serving · PyTorch Serve · ONNX Runtime

推理框架概述TensorFlow

模型转换与优化

从训练格式到推理格式（ONNX · TensorRT）

模型转换优化

FP16 · INT8量化技术及工具

模型量化FP16

模型剪枝与蒸馏

减小模型体积提升推理速度

模型剪枝蒸馏

容器化基础

Docker镜像构建 · GPU驱动与CUDA的Docker镜…

容器化基础Docker

设置nvidia-docker · GPU设备映射

推理服务镜像制作

基于Triton/ONNX Runt…

推理服务镜像制作Triton/ONNX

容器镜像仓库

上传至Docker Hub或云厂商仓…

容器镜像仓库Docker

Kubernetes基础

Pod · Deployment · Service概念

配置NVIDIA device pl… · GPU资源限制

推理服务部署到K8s

编写Deployment和Servi…

K8s推理服务部署到

自动扩缩容

基于CPU/GPU利用率的HPA配置

自动扩缩容CPU/GPU

负载均衡与入口

Ingress控制器 · gRPC负载均衡

负载均衡入口

推理服务监控与日志

Prometheus · Grafana · EFK/ELK

推理服务监控日志

自定义指标

GPU利用率 · 推理延迟 · 请求量

自定义指标GPU

性能测试与调优

使用wrk · locust · ghz进行压测

性能测试调优

多模型部署与管理

Triton的多模型仓库 · 版本管理

多模型部署管理

模型热加载与更新

蓝绿部署 · 金丝雀发布

模型热加载更新

安全与权限

模型加密 · API鉴权 · 网络策略

spot实例 · 预留实例 · 自动关机

成本优化spot

边缘与混合部署

结合云边协同 · 混合云GPU调度

边缘混合部署

模型缓存 · 请求缓存减少重复计算

推理缓存模型缓存

批处理与流式推理

累积请求批量推理 · 实时流处理

批处理流式推理

常见问题（OOM · 驱动不兼容 · 资源不足）

故障排查OOM

最佳实践总结

生产环境部署清单 · 架构设计建议

最佳实践总结生产环境部署清单

GPU推理Serverless · AIGC部署 · 多模态推理

未来趋势GPU