VIP19
本课程属于：025-系统化实战技能 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

推理服务高可用架构设计实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
基础知识
推理服务的基本概念 · 常见架构 · 高可用性定义与衡量指标
基础知识推理服务的基本概…
03
高可用设计原则
冗余 · 故障转移 · 负载均衡
高可用设计原则冗余
04
架构设计
单机到分布式演进 · 无状态与有状态服务设计 · 数据一致性考量
架构设计单机到分布式演进
05
负载均衡策略
算法选型 · 会话保持 · 健康检查与动态权重调整
负载均衡策略算法选型
06
故障检测与恢复
心跳机制 · 超时重试 · 熔断器模式与降级策略
故障检测恢复
07
容灾与备份
同城双活 · 异地多活 · 数据备份与恢复方案
容灾备份
08
弹性伸缩
基于指标自动扩缩容 · 预测性扩缩容 · 资源配额管理
弹性伸缩基于指标自动扩缩…
09
缓存与加速
缓存策略 · 推理结果缓存 · 模型加速与优化
缓存加速
10
模型版本管理
灰度发布 · 金丝雀发布 · 回滚机制
模型版本管理灰度发布
11
监控与告警
关键指标 · 日志收集 · 链路追踪
监控告警
12
性能优化
推理延迟优化 · 吞吐量提升 · 资源利用率优化
性能优化推理延迟优化
13
安全与合规
访问控制 · 数据加密 · 隐私保护
安全合规
14
案例实战
典型推理服务高可用架构设计（如在线推…
案例实战典型推理服务高可…
15
案例实战
大规模语言模型推理服务的高可用实践
案例实战大规模语言模型推…
16
案例实战
实时视频分析推理服务的高可用架构
案例实战实时视频分析推理…
17
常见问题
脑裂问题 · 数据不一致 · 超时与重试陷阱
常见问题脑裂问题
18
常见问题
资源竞争 · 热点问题 · 雪崩效应与应对
常见问题资源竞争
19
常见问题
配置管理 · 环境差异 · 依赖故障
常见问题配置管理
20
综合提升
高可用架构的评估与优化方法
综合提升高可用架构的评估
21
综合提升
混沌工程与故障演练实践
综合提升混沌工程
22
综合提升
成本优化与高可用的平衡
综合提升成本优化
23
综合提升
多云与混合云架构下的高可用设计
综合提升多云
24
综合提升
Serverless推理服务的高可用…
综合提升Serverless
25
综合提升
边缘计算场景下的推理服务高可用
综合提升边缘计算场景下的…
26
综合提升
高可用架构的自动化运维与DevOps…
综合提升DevOps
27
综合提升
高可用架构的容量规划与性能测试
综合提升高可用架构的容量…
28
综合提升
高可用架构的演进与未来趋势
综合提升高可用架构的演进
29
课程总结
核心要点回顾 · 学习路径建议 · 常见误区提醒
课程总结核心要点回顾
30
实战项目
从零构建一个高可用推理服务系统（端到…
实战项目从零构建一个高可…