首页
›
实战100例
›
016-大模型部署与推理优化实战
›
《生产级LLM推理系统与高可用运维实战100例》
VIP15
本课程属于:016-大模型部署与推理优化实战
实战100例 · 共 15 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
《生产级LLM推理系统与高可用运维实战100例》
共 100 例
01
搭建生产级LLM推理服务基础架构
02
配置模型加载与预热策略
03
实现动态批处理推理优化
04
部署多模型推理服务
05
实现推理请求的优先级调度
06
配置推理超时与重试机制
07
实现推理服务的自动扩缩容
08
配置GPU资源监控与告警
09
实现推理日志结构化采集
10
搭建分布式追踪系统
11
配置推理服务的健康检查
12
实现推理结果缓存
13
配置模型版本管理
14
实现A/B测试路由
15
配置推理服务的TLS加密
16
实现认证
17
配置请求速率限制
18
实现推理成本估算
19
搭建推理服务性能基准测试
20
配置推理服务的优雅停机
21
实现推理故障自动恢复
22
配置多区域部署
23
实现跨区域负载均衡
24
配置推理服务的资源配额
25
实现多租户隔离
26
配置模型热更新
27
实现推理请求的流式响应
28
配置推理服务的WebSocket接口
29
实现推理服务的gRPC接口
30
配置推理服务的RESTful API
31
实现推理服务的客户端SDK
32
配置推理服务的文档与示例
33
实现推理服务的单元测试
34
配置推理服务的集成测试
35
实现推理服务的压力测试
36
配置推理服务的混沌工程
37
实现推理服务的容量规划
38
配置推理服务的SLA监控
39
实现推理服务的审计日志
40
配置推理服务的备份与恢复
41
实现推理服务的蓝绿部署
42
配置推理服务的金丝雀发布
43
实现推理服务的回滚机制
44
配置推理服务的配置管理
45
实现推理服务的密钥管理
46
配置推理服务的网络策略
47
实现推理服务的容器安全扫描
48
配置推理服务的Pod安全策略
49
实现推理服务的资源限制
50
配置推理服务的存储卷
51
实现推理服务的模型文件同步
52
配置推理服务的镜像管理
53
实现推理服务的CI/CD流水线
54
配置推理服务的GitOps
55
实现推理服务的监控大盘
56
配置推理服务的日志告警
57
实现推理服务的指标告警
58
配置推理服务的分布式缓存
59
实现推理服务的消息队列集成
60
配置推理服务的异步推理
61
实现推理服务的批处理接口
62
配置推理服务的流式批处理
63
实现推理服务的模型量化
64
配置推理服务的模型剪枝
65
实现推理服务的模型蒸馏
66
配置推理服务的多GPU并行
67
实现推理服务的CPU推理优化
68
配置推理服务的FPGA/ASIC加速
69
实现推理服务的请求路由策略
70
配置推理服务的负载均衡算法
71
实现推理服务的连接池管理
72
配置推理服务的超时控制
73
实现推理服务的重试策略
74
配置推理服务的熔断机制
75
实现推理服务的降级策略
76
配置推理服务的限流策略
77
实现推理服务的流量镜像
78
配置推理服务的流量染色
79
实现推理服务的全链路压测
80
配置推理服务的性能调优
81
实现推理服务的显存优化
82
配置推理服务的模型并行
83
实现推理服务的流水线并行
84
配置推理服务的张量并行
85
实现推理服务的序列并行
86
配置推理服务的投机解码
87
实现推理服务的KV缓存优化
88
配置推理服务的连续批处理
89
实现推理服务的PagedAttention
90
配置推理服务的Prefix Caching
91
实现推理服务的模型并行推理
92
配置推理服务的自动混合精度
93
实现推理服务的编译优化
94
配置推理服务的推理引擎选择
95
实现推理服务的多模态支持
96
配置推理服务的流式生成
97
实现推理服务的停止条件控制
98
配置推理服务的采样参数
99
实现推理服务的提示词模板管理
100
配置推理服务的上下文管理
所属VIP或分类
同VIP:DeepSpeed-ZeRO训练优化实战100例
同VIP:DeepSpeed大模型训练优化库实战100例
同VIP:FlashAttention推理优化实战100例