VIP19
本课程属于：025-系统化实战技能 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

推理服务部署全流程操作指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 推理服务部署的整体流程概览
课程导入学习目标
02
推理服务基础
推理服务的定义 · 类型（在线/离线） · 常见应用场景
推理服务基础推理服务的定义
03
部署环境准备
硬件要求（CPU/GPU） · 操作系统 · 网络配置
部署环境准备CPU/GPU
04
模型准备与优化
模型格式转换（如ONNX · TensorRT） · 量化
模型准备优化
05
推理框架选择
主流推理框架（TensorRT · ONNX Runtime · OpenVINO）对比与选型
推理框架选择TensorRT
06
容器化基础
Docker基本操作 · 镜像构建 · 容器运行与调试
容器化基础Docker
07
容器化推理服务
将推理服务打包为Docker镜像 · 实现环境一致性
容器化推理服务Docker
08
容器编排入门
Kubernetes核心概念 · Pod · Deployment
容器编排入门Kubernetes
09
部署推理服务到K8s
编写YAML文件 · 部署推理服务到Kubernetes集…
K8s部署推理服务到
10
服务暴露与负载均衡
NodePort · LoadBalancer · Ingress配置
服务暴露负载均衡
11
推理服务API设计
RESTful API设计规范 · 请求/响应格式 · 错误处理
API推理服务
12
推理服务性能测试
使用wrk · JMeter等工具进行压力测试 · 评估吞吐量和延迟
推理服务性能测试wrk
13
性能优化策略
批处理 · 动态batching · 模型并行
性能优化策略批处理
14
监控与日志
使用Prometheus · Grafana监控服务指标 · ELK收集日志
监控日志
15
自动扩缩容
基于CPU/GPU利用率或请求数配置…
自动扩缩容CPU/GPU
16
安全与权限
API认证（JWT · OAuth） · 网络安全策略
安全权限
17
多模型管理
使用模型仓库（如MLflow · Seldon）管理多个模型版本
多模型管理MLflow
18
灰度发布与回滚
使用K8s滚动更新 · 蓝绿部署 · 金丝雀发布
灰度发布回滚
19
推理服务测试
单元测试 · 集成测试 · 端到端测试方法
推理服务测试单元测试
20
常见问题排查
服务启动失败 · GPU显存不足 · 请求超时等问题的诊断与解决
常见问题排查服务启动失败
21
案例实战
使用TensorFlow Servi…
案例实战TensorFlow
22
案例实战
使用PyTorch + TorchS…
案例实战PyTorch
23
案例实战
使用ONNX Runtime部署一个…
案例实战ONNX
24
案例实战
在Kubernetes上部署高可用推…
案例实战Kubernetes
25
边缘部署
在边缘设备（如Jetson）上部署推…
边缘部署Jetson
26
云服务部署
使用AWS SageMaker · 阿里云PAI等云平台部署推理服务
云服务部署AWS
27
成本优化
资源调度 · spot实例 · 模型压缩降低推理成本
成本优化资源调度
28
最佳实践
部署架构设计 · 配置管理 · CI/CD集成
最佳实践部署架构设计
29
综合项目
从零搭建一个完整的推理服务 · 包括模型优化 · 容器化
综合项目从零搭建一个完整…
30
课程总结
关键知识点回顾 · 常见误区 · 学习路径建议
课程总结关键知识点回顾