VIP20

本课程属于：001-大模型推理部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

高并发推理系统设计

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

高并发推理系统概述

定义、挑战与核心指标（QPS、延迟、吞吐量）

推理引擎选型

TensorRT、ONNX Runtime、OpenVINO 对比与选型策略

模型优化基础

量化（INT8/FP16）、剪枝、蒸馏技术原理与实践

模型部署格式

ONNX 导出、TorchScript、TensorRT Engine 的生成与验证

GPU 推理优化

CUDA 编程基础、Kernel 融合、显存管理策略

CPU 推理优化

MKL-DNN、AVX 指令集、NUMA 亲和性绑定

推理框架架构

请求队列、批处理调度、动态 batching 机制

高性能网络通信

gRPC、HTTP/2、RDMA 在推理系统中的应用

负载均衡与路由

一致性哈希、动态权重、熔断降级策略

负载均衡高可用

模型缓存、特征缓存、结果缓存的设计与失效机制

异步推理模式

生产者-消费者模型、Future/Promise 模式实现

WebSocket、Server-Sent Events 实现实时推理

多模型编排

DAG 工作流、模型流水线、条件分支设计

编排流水线

Kubernetes 部署、GPU 共享、MIG 分区技术

HPA 策略、自定义指标、冷启动优化

监控与可观测性

Prometheus 指标、Grafana 面板、OpenTelemetry 链路追踪

监控可观测

结构化日志、日志采集、ELK/EFK 栈搭建

性能基准测试

wrk、ghz、locust 工具使用与报告分析

压力测试与容量规划

负载模型、SLA 验证、容量预估方法

故障注入与混沌工程

Chaos Mesh、Litmus 在推理系统中的应用

模型加密、API 鉴权、速率限制、DDoS 防护

多租户隔离

资源隔离、请求优先级、配额管理

多租户隔离

TensorFlow Lite、ONNX Runtime Mobile、模型压缩

边缘移动端

CPU+GPU+NPU 协同推理、任务调度策略

模型版本管理

模型仓库、版本回滚、A/B 测试框架

版本A/B测试

持续集成与部署

CI/CD 流水线、模型自动测试、灰度发布

Spot 实例、预留实例、混合部署策略

多区域负载均衡、数据合规、延迟优化

大模型推理优化

KV Cache、PageAttention、Continuous Batching

Serverless 推理、推理即服务、AI 芯片发展