VIP20
本课程属于：028-ONNX模型部署与推理优化 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

ONNX模型Triton服务端部署项目实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · ONNX与Triton简介
课程导入学习目标
02
ONNX模型基础
ONNX格式 · 模型转换方法 · 模型验证与优化
ONNX模型基础
03
Triton Inference Server概述
架构 · 核心概念 · 部署模式
TritonInference
04
环境搭建
Docker安装 · Triton镜像获取 · GPU驱动与CUDA配置
环境搭建Docker
05
模型仓库结构
目录组织 · 配置文件编写 · 模型版本管理
模型仓库结构目录组织
06
ONNX模型导出
从PyTorch/TensorFlo… · 动态轴处理 · 算子兼容性
ONNX模型导出
07
模型优化
ONNX Runtime优化 · 量化 · 图优化
模型优化ONNX
08
Triton配置详解
model config · 输入输出定义 · 动态批处理
Triton配置详解
09
部署第一个ONNX模型
手写数字识别模型部署 · 客户端测试
ONNX部署第一个
10
客户端SDK使用
Python客户端 · HTTP/gRPC请求 · 响应解析
SDK客户端
11
性能测试与调优
基准测试工具 · 吞吐量优化 · 延迟优化
性能测试调优
12
动态批处理
原理 · 配置 · 效果评估
动态批处理原理
13
模型集成
多模型部署 · 模型版本控制 · 模型切换
模型集成多模型部署
14
模型流水线
预处理/后处理集成 · 自定义后端开发
模型流水线预处理
15
模型并发与资源管理
实例组配置 · GPU内存管理 · 并发控制
模型并发资源管理
16
日志与监控
Triton日志 · Prometheus指标 · Grafana可视化
日志监控
17
错误处理与调试
常见错误 · 日志分析 · 调试技巧
错误处理调试
18
安全与权限
Triton安全配置 · 模型访问控制 · SSL/TLS
安全权限
19
模型热更新
动态加载 · 版本管理 · 零停机更新
模型热更新动态加载
20
多GPU部署
多GPU配置 · 负载均衡 · 性能扩展
GPU部署
21
Kubernetes部署
Triton on K8s · Helm Chart · 自动伸缩
Kubernetes部署
22
边缘部署
Triton Lite · 轻量化部署 · 资源限制
边缘部署Triton
23
案例实战
图像分类模型部署（ResNet-50…
案例实战ResNet-50
24
案例实战
目标检测模型部署（YOLOv5）
案例实战YOLOv5
25
案例实战
NLP模型部署（BERT）
案例实战NLP
26
案例实战
推荐系统模型部署（DeepFM）
案例实战DeepFM
27
常见问题与解决方案
模型加载失败 · 性能瓶颈 · 兼容性问题
常见问题解决方案
28
综合项目
端到端部署流程 · CI/CD集成 · 自动化测试
综合项目端到端部署流程
29
性能优化进阶
TensorRT集成 · 模型并行 · 推理优化
性能优化进阶TensorRT
30
课程总结
知识回顾 · 最佳实践 · 学习路径建议
课程总结知识回顾