VIP20

本课程属于：030-华为昇腾Atlas硬件与CANN开发实战 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

模型推理部署全流程实战

📚 共计 30 章节

模型部署概述

什么是模型部署 · 部署的挑战与目标 · 部署全流程概览

GPU驱动与CUDA安装 · Docker环境搭建 · Python虚拟环境配置

模型导出基础

PyTorch模型保存与加载 · ONNX简介 · TorchScript入门

ONNX模型导出实战

PyTorch转ONNX · 动态轴与静态轴设置 · 算子兼容性检查

ONNX模型优化

ONNX Simplifier使用 · 常量折叠与节点融合 · 图优化策略

优化图优化

TensorRT核心概念 · 安装与配置 · 工作流概览

TensorRT模型转换

ONNX转TensorRT引擎 · 精度设置(FP32/FP16/INT8) · 动态shape支持

TensorRT推理引擎

引擎序列化与反序列化 · 上下文创建 · 异步推理

TensorRT高级优化

层融合 · 内核自动调优 · 多流推理

INT8量化原理

量化基础知识 · 对称量化与非对称量化 · 校准数据集

TensorRT INT8量化实战

校准器选择 · 量化敏感层分析 · 精度评估

OpenVINO架构 · 安装与配置 · 模型优化器使用

推理引擎API · 异步推理 · 异构执行

ONNX Runtime部署

ONNX Runtime安装 · C++与Python API · 性能调优

Triton Inference Server

Triton架构 · 模型仓库配置 · 并发模型管理

Triton客户端开发

HTTP/gRPC客户端 · 请求与响应处理 · 性能监控

模型服务化

Flask/FastAPI搭建推理服务 · RESTful API设计 · 负载均衡

模型压缩技术

剪枝原理 · 知识蒸馏 · 权重共享

模型量化实战

PyTorch动态量化 · 静态量化 · 量化感知训练

模型转换工具链

MMDeploy · OpenMMLab生态 · 模型格式互转

工具链MMDeploy

边缘端部署

TensorFlow Lite · NCNN · MNN框架对比

边缘移动端

移动端部署实战

Android/iOS集成 · NPU加速 · 端侧优化

WebAssembly · TensorFlow.js · ONNX.js

性能基准测试

延迟与吞吐量测量 · Profiling工具使用 · 瓶颈分析

模型版本管理

DVC · MLflow Model Registry · 模型回滚策略

模型测试流水线 · 自动化部署 · A/B测试

监控与告警

推理服务监控指标 · 日志收集 · 异常检测

安全与合规

模型加密 · 访问控制 · 数据隐私保护

大规模部署实践

Kubernetes集群部署 · 自动扩缩容 · 灰度发布

全流程案例实战

从训练到部署的端到端项目 · 常见问题排查 · 最佳实践总结