VIP8
本课程属于：009-大模型服务部署与API工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型部署云原生架构实战资料

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
大模型部署与云原生架构的融合背景 · 课程目标 · 学习路径与前置知识要求
课程导入大模型部署
02
大模型基础与部署挑战
大模型（LLM）的基本原理 · 参数量与计算特性 · 部署中的显存
大模型基础部署挑战
03
云原生架构概览
容器 · 微服务 · 编排
云原生架构概览容器
04
大模型部署形态与场景
在线推理 · 离线批处理 · 边缘部署
大模型部署形态场景
05
容器化基础与Docker实战
Dockerfile编写 · 镜像构建 · GPU驱动与CUDA环境封装
Docker容器化基础
06
Kubernetes核心概念与集群搭建
Pod · Deployment · Service
Kubernetes核心概念
07
GPU资源管理与调度
NVIDIA device plug… · GPU共享 · MIG
GPU资源管理
08
模型推理服务框架选型
vLLM · Triton · TensorRT-LLM
模型推理服务框架…vLLM
09
模型加载与权重管理
模型权重存储 · 加载优化（如mmap · 分片加载）
模型加载权重管理
10
推理服务化与API设计
RESTful/gRPC接口设计 · 流式输出（SSE） · 请求/响应格式规范与客户端SDK
API推理服务化
11
自动扩缩容策略
基于QPS · GPU利用率 · 队列长度的HPA/VPA
自动扩缩容策略QPS
12
服务发现与负载均衡
Kubernetes Service · Ingress · 服务网格（如Istio）在大模型推理…
服务发现负载均衡
13
模型并行与分布式推理
张量并行 · 流水线并行 · 数据并行等分布式推理策略在Kuber…
模型并行分布式推理
14
推理性能优化
批处理（batching） · KV Cache优化 · 量化（INT8/FP16）
推理性能优化batching
15
高可用与容灾设计
多副本 · 故障转移 · 健康检查
高可用容灾设计
16
安全与权限控制
模型访问认证 · 管理 · 网络策略
安全权限控制
17
监控与日志体系
Prometheus指标采集 · Grafana可视化 · 日志收集（ELK/Loki）及推理质…
监控日志体系
18
CI/CD与自动化部署
GitOps · Helm Chart · Kustomize
CI/CD自动化部署
19
模型版本管理与A/B测试
模型注册 · 版本灰度发布 · 金丝雀发布
A/B模型版本管理
20
Serverless推理架构
Knative · KServe等Serverless框… · 自动扩缩容与按需计费
Serverless推理架构
21
多模型管理与模型仓库
多模型共享GPU · 模型热切换 · 模型仓库（如ModelMesh）的架…
多模型管理模型仓库
22
边缘部署与轻量化
模型压缩 · ONNX/TensorRT转换 · 边缘K8s（K3s）与边缘推理场景
边缘部署轻量化
23
成本优化与资源治理
GPU成本分析 · Spot实例 · 弹性资源池
成本优化资源治理
24
实战案例一
基于vLLM+Kubernetes部… · 包括集群配置 · 服务发布与压测
实战案例一vLLM+Kuberne…
25
实战案例二
基于KServe实现Serverle… · 配置自动扩缩容与监控告警
实战案例二KServe
26
实战案例三
多租户大模型平台 · 实现租户隔离 · 配额管理与计费
实战案例三多租户大模型平台
27
常见问题排查
OOM · GPU显存泄漏 · 推理延迟抖动
常见问题排查OOM
28
性能压测与调优实战
使用wrk · locust · vegeta等工具进行压测
性能压测调优实战
29
前沿趋势与扩展
LoRA微调部署 · 多模态模型部署 · 推理引擎新特性
前沿趋势扩展
30
综合项目实战与总结
从零搭建一个生产级大模型云原生部署平… · 涵盖架构设计 · 实施
综合项目实战从零搭建一个生产…