VIP20

本课程属于：001-大模型推理部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

手把手搭建推理服务

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

推理服务概述

什么是推理服务、推理服务与训练的区别、常见的推理框架（Triton、TorchServe、BentoML）对比。

Python虚拟环境搭建（conda/venv）、CUDA与cuDNN安装、Docker基础操作。

模型导出与转换

PyTorch模型导出为TorchScript、ONNX导出、TensorRT转换基础。

Flask基础API搭建

Flask框架介绍、创建第一个REST API端点、处理POST请求与JSON数据。

FastAPI与Flask对比、异步处理、自动生成OpenAPI文档、输入输出校验（Pydantic）。

模型加载与推理

单例模式加载模型、GPU/CPU设备管理、批处理推理实现。

推理批处理

请求预处理与后处理

图像/文本数据预处理管线、结果解析与格式化、异常处理机制。

预处理异常

模型量化（INT8/FP16）、动态批处理、请求队列与并发控制。

Docker容器化部署

编写Dockerfile、多阶段构建、镜像优化与瘦身。

Docker Compose编排

多服务编排（API + 模型 + 数据库）、环境变量管理、健康检查配置。

Nginx反向代理与负载均衡

Nginx配置、SSL/TLS终止、请求限流与负载均衡策略。

Nginx负载均衡

Kubernetes基础

K8s核心概念（Pod、Service、Deployment）、Minikube本地集群搭建。

K8s部署推理服务

编写Deployment与Service YAML、配置资源限制、滚动更新策略。

K8s配置管理

ConfigMap与Secret使用、挂载模型文件、环境变量注入。

ConfigMapSecret

K8s自动伸缩

Horizontal Pod Autoscaler（HPA）配置、基于CPU/内存的自动扩缩容。

HPA自动伸缩

监控与日志

Prometheus + Grafana监控推理延迟与吞吐量、ELK/EFK日志收集。

Triton Inference Server入门

Triton架构介绍、模型仓库配置、支持多框架模型。

Triton多框架

Triton高级功能

动态批处理、模型并发执行、模型版本管理、BLS（业务逻辑脚本）。

动态批处理BLS

Triton性能分析

Model Analyzer工具使用、最优配置搜索、性能调优实战。

性能分析调优

TorchServe部署

TorchServe安装与配置、自定义handler编写、REST/gRPC API。

TorchServehandler

BentoML框架介绍、bento构建与分发、Docker镜像生成。

gRPC服务搭建

Protocol Buffers定义、gRPC服务端实现、与REST API对比。

API网关与安全

JWT认证实现、API Key管理、IP白名单与速率限制。

A/B测试与灰度发布

模型版本路由、流量切分策略、渐进式发布方案。

A/B测试灰度

GitHub Actions自动构建与测试、镜像自动推送、K8s自动部署。

边缘端部署

ONNX Runtime与TensorRT Lite、树莓派/Jetson Nano部署实战。

Serverless推理

AWS Lambda + SageMaker、阿里云函数计算、冷启动优化。

Serverless冷启动

多模型管理与调度

模型热加载、模型路由策略、资源隔离与共享。

热加载路由

大规模推理集群

分布式推理架构、模型分片、推理缓存（Redis/Memcached）。

分布式缓存

从零搭建一个生产级推理服务平台（需求分析、架构设计、部署运维全流程）。

实战全流程