VIP20

本课程属于：025-AI芯片架构 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI芯片吞吐压测指南

📚 共计 30 章节

什么是AI芯片吞吐压测？吞吐量的核心指标（TOPS、FPS、Batch Size）与压测目标设定。

压测服务器选型（CPU/GPU/内存）、驱动与固件版本管理、Docker容器化部署压测环境。

压测工具链

主流压测工具对比（MLPerf、TensorRT、TFLite Benchmark、自研脚本），工具选型策略。

模型格式转换（ONNX、TensorRT Engine、TFLite）、量化（INT8/FP16）对吞吐的影响。

数据流水线

数据加载器（DALI、TF Data）优化、预处理瓶颈分析与异步流水线设计。

Batch Size调优

不同Batch Size对吞吐与延迟的影响曲线，寻找最佳Batch Size的方法论。

多Stream/多进程并发压测，如何压满芯片算力，避免资源竞争。

内存带宽压测

显存带宽（HBM/GDDR）对吞吐的制约，使用bandwidthTest工具进行带宽摸底。

计算单元压测

Tensor Core/CUDA Core/NPU Core利用率监控，使用nvidia-smi/rocm-smi/厂商工具。

监控利用率

算子级压测

针对Conv、MatMul、Attention等核心算子的独立吞吐测试，定位算子瓶颈。

端到端压测

从数据输入到结果输出的全链路吞吐测试，包含前后处理耗时。

并发用户模拟

模拟多用户/多请求并发场景，使用wrk/gRPC压测框架。

延迟与吞吐权衡

P99延迟与吞吐量的关系，如何设定SLA（服务等级协议）。

稳定性压测

长时间（24h/72h）压测，监控性能衰减、内存泄漏、温度漂移。

稳定性长时

温度与功耗

芯片温度、功耗（TDP）对吞吐的影响，降频（Throttling）现象的识别与规避。

多卡互联压测

NVLink/NCCL/RDMA带宽测试，多卡通信对分布式推理吞吐的影响。

虚拟化环境压测

vGPU/MIG（多实例GPU）分区下的吞吐隔离性测试。

边缘设备压测

Jetson/Edge TPU/寒武纪等边缘芯片的吞吐测试方法，功耗受限场景。

云端芯片压测

AWS Inferentia/Google TPU/华为昇腾等云上芯片的压测实践。

压测脚本编写

Python + Threading/AsyncIO实现高并发压测脚本，结果记录与日志。

结果数据分析

吞吐量统计（均值、峰值、抖动）、可视化（Matplotlib/Plotly）与报告生成。

可视化统计

性能基线建立

如何建立芯片性能基线，版本回归对比，自动化CI/CD集成压测。

瓶颈定位方法论

从系统视角（计算、访存、通信、调度）定位吞吐瓶颈的通用方法论。

方法论定位

常见问题与排查

OOM、驱动崩溃、算子执行错误、数据加载卡死等问题的排查流程。

压测报告撰写

专业压测报告的结构（摘要、环境、方法、数据、结论），面向不同受众。

安全与合规

压测过程中的数据安全（脱敏）、合规要求（GDPR）、芯片使用规范。

自动化压测平台

基于Jenkins/Argo Workflows搭建自动化压测流水线，定时触发与告警。

自动化Jenkins

多模型混合压测

同时压测多个模型（如ResNet+BERT），模拟真实业务混合负载。

混合多模型

动态形状压测

处理动态Batch/动态分辨率场景下的吞吐测试，动态shape对性能的影响。

Chiplet架构、存算一体、光互联等新技术对吞吐压测的挑战与演进。