VIP20
本课程属于：007-大模型部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型部署API网关优化指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用人群 · 课程整体框架与学习路径
课程导入学习目标
02
大模型部署基础
大模型推理服务的基本架构 · 常见部署方式（在线/离线） · 性能瓶颈概述
大模型部署基础大模型推理服务的…
03
API网关核心概念
API网关的定义 · 功能（路由 · 鉴权
API网关核心概念
04
大模型API网关与传统网关的差异
请求/响应模式 · 流式输出 · 长连接
API大模型
05
主流API网关选型
Kong · APISIX · Envoy
API主流
06
大模型API网关架构设计
整体架构图 · 控制面与数据面分离 · 插件机制
API大模型
07
路由与负载均衡优化
基于模型版本 · 用户 · 业务类型的路由策略
路由负载均衡优化
08
流式响应处理
SSE（Server-Sent Ev… · 缓冲策略 · 背压机制
流式响应处理SSE
09
请求/响应转换与协议适配
HTTP/HTTPS · gRPC · 内部RPC协议转换
请求响应转换
10
认证与授权
API Key · OAuth2.0 · JWT
认证授权
11
限流与配额管理
令牌桶 · 漏桶算法 · 基于用户/API/模型的限流策略
限流配额管理
12
熔断与降级
大模型服务故障时的熔断策略 · 超时控制 · 优雅降级与重试机制
熔断降级
13
缓存优化
语义缓存 · 结果缓存 · KV缓存（如Redis）在网关层的应…
缓存优化语义缓存
14
成本控制与计费
Token计量 · 按请求计费 · 模型调用成本分摊
成本控制计费
15
可观测性
日志 · 指标（Prometheus） · 链路追踪（Jaeger/Zipkin…
可观测性日志
16
安全加固
防止提示注入 · 敏感信息过滤 · DDoS防护
安全加固防止提示注入
17
性能调优
连接池管理 · 线程模型 · 异步非阻塞
性能调优连接池管理
18
高可用与容灾
多活部署 · 故障转移 · 健康检查
高可用容灾
19
实战案例
基于Kong+大模型服务的网关搭建与…
实战案例Kong+
20
实战案例
基于APISIX的流式大模型网关配置…
实战案例APISIX
21
实战案例
使用Envoy构建高性能大模型网关 · 处理高并发与流式响应
实战案例Envoy
22
实战案例
云原生环境（Kubernetes）下…
实战案例Kubernetes
23
常见问题排查
网关超时 · 连接泄漏 · 内存溢出
常见问题排查网关超时
24
性能压测与基准
使用wrk · JMeter · Locust等工具对大模型网关进行压…
性能压测基准
25
网关配置管理
动态配置 · 热更新 · 版本管理
网关配置管理动态配置
26
多模型管理与路由
多个大模型（如GPT · LLaMA）的统一接入 · 模型版本切换
多模型管理路由
27
边缘场景优化
边缘节点部署网关 · 离线缓存 · 弱网优化
边缘场景优化边缘节点部署网关
28
AI网关新趋势
AI Gateway（如LiteLL… · Portkey）的兴起 · 与传统API网关的融合
AI网关新趋势
29
综合实战项目
从零设计并实现一个面向大模型应用的A… · 涵盖需求分析 · 架构设计
综合实战项目从零设计并实现一…
30
课程总结与进阶
核心知识回顾 · 常见误区 · 学习资源推荐
课程总结进阶