VIP20

本课程属于：009-AI+DevOps AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

分布式AI推理服务自动扩缩容调优

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程大纲 · 适用人群

课程导入学习目标

分布式AI推理基础

推理服务架构 · 推理请求处理流程 · 性能指标（吞吐量

自动扩缩容概念

什么是自动扩缩容 · 为什么需要 · 扩缩容的粒度（实例级

自动扩缩容概念什么是自动扩缩容

负载预测与监控

监控指标（QPS · GPU利用率 · 队列长度）

负载预测监控

扩缩容策略设计

基于阈值的策略 · 基于预测的策略 · 混合策略

扩缩容策略设计基于阈值的策略

Kubernetes原生扩缩容

HPA（水平Pod自动扩缩容） · VPA（垂直Pod自动扩缩容） · Cluster Autoscaler

Kubernetes原生扩缩容

自定义指标扩缩容

Prometheus Adapter · 自定义指标API · 基于自定义指标的HPA配置

自定义指标扩缩容Prometheus

GPU资源管理

GPU调度 · 显存管理 · GPU共享与隔离

GPU资源管理

推理服务容器化

Docker镜像优化 · 模型加载优化 · 启动时间优化

推理服务容器化Docker

模型版本管理

模型仓库 · 版本切换 · 金丝雀发布

模型版本管理模型仓库

推理引擎选择

TensorFlow Serving · PyTorch Serve · ONNX Runtime

推理引擎选择TensorFlow

Triton Inference Server深入

动态批处理 · 并发模型执行 · 模型集成

TritonInference

扩缩容的挑战

冷启动问题 · 流量突刺 · 资源碎片

扩缩容的挑战冷启动问题

冷启动优化

模型预热 · 模型缓存 · 快速加载技术

冷启动优化模型预热

负载均衡 · 会话保持 · 请求路由

流量管理负载均衡

弹性伸缩的自动化

基于事件驱动的扩缩容（KEDA） · 定时扩缩容 · 自定义控制器

弹性伸缩的自动化KEDA

按需实例与Spot实例 · 混合实例策略 · 资源打包

成本优化Spot

性能测试与基准

负载测试工具（wrk · hey · Locust）

性能测试基准

基于Kubernetes和Trito…

案例实战Kubernetes

基于KEDA的事件驱动扩缩容实现

案例实战KEDA

基于预测的扩缩容（使用Prophet…

案例实战Prophet

常见问题与解决方案

扩缩容震荡 · 指标延迟 · 资源不足

常见问题解决方案

监控与告警

Prometheus告警规则 · Grafana仪表盘 · 告警通知

安全与合规

多租户隔离 · 资源配额 · 安全策略

设计一个完整的自动扩缩容系统 · 从需求分析到部署调优

综合实战设计一个完整的自…

调优方法论

性能分析 · 瓶颈定位 · 参数调优

调优方法论性能分析

Serverless推理 · Knative · KServe

前沿技术Serverless

最佳实践总结

架构设计 · 策略选择 · 运维经验

最佳实践总结架构设计

构建一个生产级分布式AI推理服务自动…

核心要点回顾 · 学习路径建议 · 未来展望

课程总结核心要点回顾