VIP20

本课程属于：007-大模型部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

大模型部署多租户隔离实战指南

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 核心概念 · 整体框架

课程导入学习目标

大模型部署基础

大模型推理架构 · 常用部署框架（如vLLM · TGI）

大模型部署基础大模型推理架构

多租户隔离概述

多租户定义 · 隔离需求 · 隔离维度（计算

多租户隔离概述多租户定义

隔离技术选型

进程级隔离 · 容器级隔离 · 虚拟机隔离

隔离技术选型进程级隔离

GPU资源隔离

GPU显存隔离 · 算力隔离（MIG · 时间切片）

GPU资源隔离

内存与显存管理

显存池化 · KV Cache隔离 · 内存配额控制

内存显存管理

模型并发与批处理隔离

动态批处理 · 连续批处理 · 并发控制

模型并发批处理隔离

网络隔离与流量控制

租户级网络命名空间 · 带宽限制 · QoS策略

网络隔离流量控制

数据隔离与安全

模型权重保护 · 输入输出数据隔离 · 加密传输

数据隔离安全

身份认证与授权

租户认证机制 · RBAC/ABAC · API Key管理

身份认证授权

多租户调度与编排

Kubernetes多租户 · 调度器扩展 · 自定义资源（CRD）管理GPU

多租户调度编排

隔离策略配置实战

使用Docker和Kubernete… · 配置资源限制

隔离策略配置实战Docker

vLLM多租户实战

在vLLM中配置多租户 · 使用API Server · 实现请求级隔离

vLLM多租户实战

Triton Inference Server多租户实战

模型仓库隔离 · 并发控制 · 动态批处理配置

TritonInference

Ray Serve多租户部署

Ray Serve的部署单元 · 资源隔离 · 多租户路由

基于MIG的GPU隔离实战

NVIDIA MIG配置 · 分区管理 · 租户分配与监控

基于时间切片的GPU共享实战

时间切片调度 · 公平性控制 · 性能隔离验证

GPU基于时间切片的

多租户监控与计量

监控指标（GPU利用率 · 延迟 · 吞吐）

多租户监控计量

性能隔离与SLA保障

性能干扰抑制 · SLA定义 · 弹性伸缩

SLA性能隔离

故障隔离与高可用

租户故障隔离 · 快速恢复 · 多副本策略

故障隔离高可用

安全加固与合规

容器安全 · 镜像扫描 · 运行时安全

安全加固合规

多租户成本优化

资源池化 · 超卖策略 · 成本分摊

多租户成本优化资源池化

常见问题与排查

显存溢出 · 性能抖动 · 网络延迟

常见问题排查

基于Kubernetes和vLLM构… · 从零到一

案例实战Kubernetes

金融行业多租户大模型服务 · 满足安全合规与隔离要求

案例实战金融行业多租户大…

互联网SaaS平台多租户大模型API · 实现租户级计费与限流

案例实战SaaS

设计并实现一个支持多租户隔离的大模型… · 包含监控 · 调度

综合实战设计并实现一个支…

性能调优与基准测试

多租户场景下的性能基准测试方法 · 调优技巧 · 对比分析

性能调优基准测试

前沿趋势与扩展

新硬件（如H100） · 新框架 · Serverless多租户

前沿趋势扩展

课程总结与进阶路径

核心知识回顾 · 常见误区 · 推荐学习资源

课程总结进阶路径