所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

生产级LLM推理系统与高可用运维

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 目标学员 · 课程整体框架
课程导入学习目标
02
LLM推理基础
Transformer架构 · 自回归生成 · KV Cache
LLM推理基础
03
推理引擎选型
主流推理引擎（vLLM · TensorRT-LLM · TGI
推理引擎选型vLLM
04
模型量化与压缩
量化原理（INT8/INT4/FP8… · /AWQ/GGUF等量化方法 · 量化对推理质量与性能的影响
模型量化压缩
05
推理服务化架构
REST/gRPC API设计 · 流式输出（SSE/WebSocket… · 批处理策略（动态批
推理服务化架构REST/gRPC
06
GPU资源管理与优化
GPU显存管理 · CUDA/MPS/MIG · 多卡并行（张量并行
GPU资源管理
07
高可用架构设计
无状态服务设计 · 负载均衡（L4/L7） · 健康检查
高可用架构设计无状态服务设计
08
推理系统监控与可观测性
指标采集（Prometheus） · 日志（ELK/Loki） · 链路追踪（Jaeger）
推理系统监控可观测性
09
告警与SLO管理
SLO/SLI定义 · 告警规则设计 · 告警分级与通知
SLO告警
10
性能调优实战
瓶颈分析（CPU/GPU/内存/网络… · 批处理大小调优 · KV Cache优化
性能调优实战CPU/GPU
11
推理缓存与加速
前缀缓存（Prefix Cachin… · 语义缓存 · 投机解码（Speculative D…
推理缓存加速
12
多模型管理与路由
模型仓库 · 模型版本管理 · A/B测试
多模型管理路由
13
安全与合规
输入输出过滤 · 提示注入防护 · 隐私保护（PII脱敏）
安全合规
14
成本优化
GPU成本分析 · Spot实例使用 · 混合部署（CPU/GPU）
成本优化GPU
15
CI/CD与自动化运维
推理服务的自动化测试（负载测试 · 回归测试） · 蓝绿部署
CI/CD自动化运维
16
容器化与编排
Docker镜像优化 · Kubernetes部署推理服务 · GPU调度（Device Plugi…
容器化编排
17
Serverless推理
Serverless架构（如AWS… · KServe） · 冷启动优化
Serverless推理
18
推理系统故障排查
常见故障（OOM · 超时 · GPU异常）
推理系统故障排查OOM
19
高可用案例实战
某大型LLM推理服务的高可用架构设计 · 故障演练 · 多活部署
高可用案例实战LLM
20
性能压测与基准
压测工具（wrk · ghz · locust）
性能压测基准
21
推理系统演进
从单机到分布式 · 从离线到在线 · 模型并行与推理并行
推理系统演进从单机到分布式
22
LLM推理与RAG结合
RAG架构 · 向量数据库 · 检索优化
LLMRAG
23
多租户与资源隔离
租户隔离 · 配额管理 · 公平调度
多租户资源隔离
24
推理系统稳定性工程
混沌工程 · 故障注入 · 降级与熔断
推理系统稳定性工…混沌工程
25
日志与审计最佳实践
结构化日志 · 日志采样 · 日志保留策略
日志审计最佳实践
26
模型热更新与版本切换
在线模型替换 · 权重热加载 · 版本兼容性
模型热更新版本切换
27
推理系统容量规划
业务增长预测 · 容量模型 · 压力测试与容量评估
推理系统容量规划业务增长预测
28
综合实战项目
从零搭建一个生产级LLM推理服务（含… · 监控 · 告警
综合实战项目LLM
29
常见问题与解决方案
推理延迟抖动 · GPU利用率低 · 显存泄漏
常见问题解决方案
30
课程总结与进阶路径
核心知识回顾 · 最佳实践清单 · 推荐学习资源
课程总结进阶路径