首页
›
AI算力与GPU工程
›
028-batch推理队列
›
《AI推理吞吐瓶颈诊断与优化实战》
VIP20
本课程属于:028-batch推理队列
AI算力与GPU工程 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
吞吐瓶颈定位与解决方案
📚 共计 30 章节
01
吞吐量基础概念
什么是吞吐量 · QPS/TPS定义 · 吞吐量与延迟的关系 · 性能指标矩阵
核心概念
指标
02
性能测试方法论
基准测试 · 负载测试 · 压力测试 · 稳定性测试 · 容量规划
测试策略
容量
03
性能测试工具
JMeter基础 · wrk使用 · ab压力测试 · Locust框架 · Gatling介绍
工具
压测
04
CPU瓶颈定位
CPU使用率分析 · 上下文切换 · 运行队列 · 软中断 · 硬中断
CPU
定位
05
CPU优化方案
代码级优化 · 并发模型选择 · 协程与线程 · CPU亲和性 · 指令级优化
优化
并发
06
内存瓶颈定位
内存使用率 · Swap交换 · 缺页异常 · 内存泄漏检测 · GC问题
内存
GC
07
内存优化方案
对象池技术 · 缓存策略 · 数据结构优化 · JVM调优 · 内存对齐
JVM
缓存
08
磁盘I/O瓶颈定位
IOPS与吞吐量 · iowait分析 · 磁盘队列长度 · 文件系统瓶颈
磁盘
IO
09
磁盘I/O优化方案
SSD选型 · RAID策略 · 文件系统调优 · 异步I/O · 零拷贝技术
存储
零拷贝
10
网络瓶颈定位
带宽利用率 · TCP重传 · 连接队列溢出 · DNS解析延迟 · SSL握手开销
网络
TCP
11
网络优化方案
连接池 · HTTP/2与HTTP/3 · CDN加速 · 内核参数调优 · QUIC协议
HTTP
CDN
12
数据库瓶颈定位
慢查询分析 · 锁等待 · 连接池耗尽 · 索引失效 · 死锁检测
数据库
锁
13
数据库优化方案
SQL优化 · 索引设计 · 读写分离 · 分库分表 · 缓存策略
SQL
分片
14
缓存瓶颈定位
缓存穿透 · 缓存击穿 · 缓存雪崩 · 缓存一致性 · 内存碎片
缓存
一致性
15
缓存优化方案
多级缓存架构 · 热点数据识别 · 缓存预热 · 失效策略 · 分布式缓存
多级缓存
分布式
16
应用层瓶颈定位
线程池耗尽 · 队列堆积 · 锁竞争 · 序列化开销 · 日志打满
应用
线程
17
应用层优化方案
异步化改造 · 批量处理 · 无锁编程 · 零拷贝 · 读写分离
异步
无锁
18
分布式系统瓶颈
服务调用链 · 负载均衡不均 · 数据倾斜 · 分布式事务 · 一致性哈希
分布式
事务
19
分布式优化方案
服务拆分 · 限流降级 · 熔断机制 · 异步消息 · 最终一致性
熔断
限流
20
消息队列瓶颈
消息堆积 · 消费延迟 · 顺序消费 · 重复消费 · 消息丢失
MQ
堆积
21
消息队列优化方案
分区策略 · 批量消费 · 消费幂等 · 死信队列 · 消息轨迹
幂等
死信
22
容器化环境瓶颈
资源限制 · 网络性能损耗 · 存储卷性能 · Pod调度 · Sidecar开销
容器
K8s
23
容器化优化方案
资源配额 · HPA策略 · 网络插件选择 · 存储性能调优 · 镜像瘦身
HPA
镜像
24
全链路压测
压测环境搭建 · 流量模拟 · 数据隔离 · 监控埋点 · 结果分析
压测
全链路
25
性能监控体系
Prometheus+Grafana · APM工具 · 日志聚合 · 告警规则 · Dashboard设计
监控
Grafana
26
性能调优方法论
瓶颈定位四步法 · 二八原则 · 木桶效应 · 成本效益分析 · 持续优化
方法论
原则
27
典型案例分析
秒杀系统瓶颈 · 直播推流瓶颈 · 大数据ETL瓶颈 · 微服务网关瓶颈
案例
秒杀
28
性能调优工具链
perf · strace · 火焰图 · eBPF · BCC工具集 · Arthas
工具
eBPF
29
容量评估与规划
流量预估 · 资源模型 · 弹性伸缩 · 容量测试 · 成本控制
容量
弹性
30
性能调优最佳实践
调优文档规范 · 变更管理 · 灰度发布 · 回滚策略 · 复盘总结
规范
灰度
所属VIP或分类
同VIP:AI推理CUDA-OOM排查与显存优化
同VIP:AI推理吞吐压测结果分析与瓶颈定位
同VIP:AI推理吞吐性能分析与优化实战