VIP20

本课程属于：038-支付风控策略高并发评分通道 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

高并发下模型serving部署实践课

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导论与背景

高并发模型Serving的挑战 · 课程目标与学习路径 · 典型业务场景（推荐

课程导论背景

模型Serving基础架构

客户端-服务端模型 · 同步与异步推理 · 长连接与短连接

主流Serving框架选型

TensorFlow Serving · TorchServe · Triton Inference S…

Triton Inference Server核心概念

模型仓库 · 模型版本管理 · 调度器

TritonInference

Triton部署与配置实战

Docker部署 · 配置文件详解（config.pbtx… · 模型加载与卸载

gRPC与HTTP协议详解

Protocol Buffers定义 · gRPC流式推理 · HTTP/1.1 vs HTTP/2…

客户端SDK开发

Python gRPC客户端 · HTTP客户端 · 异步请求

并发模型与资源管理

模型实例数（Model Instan… · GPU利用率 · CPU vs GPU推理

并发模型资源管理

动态批处理（Dynamic Batching）

批处理原理 · 延迟与吞吐量权衡 · 队列策略

DynamicBatching

请求调度与负载均衡

轮询 · 最少连接 · 一致性哈希

请求调度负载均衡

模型版本管理与灰度发布

版本策略（Latest/Specif… · 蓝绿部署 · 金丝雀发布

模型版本管理灰度发布

性能基准测试

使用Locust · wrk · ghz进行压测

性能基准测试Locust

性能优化技巧

模型量化（FP16/INT8） · 算子融合 · TensorRT加速

性能优化技巧FP16/INT8

GPU显存优化

显存池化 · 显存碎片整理 · MPS（Multi-Process…

GPU显存优化

CPU推理优化

ONNX Runtime · OpenVINO · Intel Extension fo…

CPU推理优化

高可用架构设计

主备切换 · 多副本部署 · 健康检查与自动恢复

高可用架构设计主备切换

弹性伸缩策略

基于CPU/GPU利用率的HPA · 基于请求队列深度的自定义指标 · Kubernetes Event-d…

弹性伸缩策略CPU/GPU

服务网格与流量管理

Istio/Kong网关 · 熔断 · 限流

服务网格流量管理

模型输出缓存 · 特征缓存 · Redis/Memcached集成

缓存策略模型输出缓存

异步推理与消息队列

Kafka/RabbitMQ集成 · 请求-响应模式 · 回调机制

异步推理消息队列

流式推理与Server-Sent Events

实时语音识别 · 流式文本生成 · WebSocket vs SSE

Server-SentEvents

多模型组合推理

模型DAG编排 · Pipeline Serving · 条件分支

多模型组合推理DAG

模型预热与冷启动优化

模型预热请求 · JIT编译预热 · 模型快照

模型预热冷启动优化

监控与可观测性

Prometheus指标暴露 · Grafana仪表盘 · 日志收集（ELK/Loki）

监控可观测性

告警与自愈

基于Prometheus Alert… · 自动扩缩容 · 自动重启

安全与访问控制

TLS/mTLS加密 · API密钥认证 · RBAC权限控制

安全访问控制

多租户隔离

模型命名空间 · 资源配额（ResourceQuota… · 请求优先级调度

多租户隔离模型命名空间

边缘端部署

Triton on Jetson · 模型压缩 · 边缘缓存

边缘端部署Triton

实战案例一

高并发推荐系统Serving · 召回 · 排序模型串联

实战案例一Serving

实战案例二

大语言模型（LLM）Serving · Continuous Batchin… · KV Cache优化

实战案例二LLM