3. 主流云GPU服务商：AWS、Azure、GCP、阿里云、腾讯云等GPU实例对比
选哪家云厂商的GPU实例？这恐怕是每个做推理部署的人都会纠结的问题。我刚开始接触这行时，也花了大量时间在各家控制台里翻来翻去，结果发现——没有完美的厂商，只有最匹配你场景的选择。
今天我把五大云厂商的核心GPU实例摊开来聊。说白了，就是帮你搞清楚：哪家最便宜？哪家最难抢？哪家网络最好？
3.1 各家GPU实例概览
先给个全景图。你想想看，现在主流大厂都提供哪些卡？
| 云厂商 | 主流GPU型号 | 实例系列 | 适用场景 |
|---|---|---|---|
| AWS | A100、H100、L4、T4 | p4d、p5、g5、g4dn | 大模型训练+推理、弹性伸缩 |
| Azure | A100、H100、MI300X | NCas、NDas、NC | 企业级混合部署、AI平台集成 |
| GCP | A100、H100、L4、V100 | A2、G2、L4 | Google生态、TPU互补 |
| 阿里云 | A100、V100、T4 | ecs.gn7i、ecs.gn6v | 国内市场、模型微调 |
| 腾讯云 | H800、A100、V100 | GN10Xp、GN7 | 游戏AI、短视频推理 |
核心结论：如果你做大规模分布式推理（比如70B+模型），目前H100/H800是最优选。如果是中小模型（7B-13B），L4或T4性价比更好。
3.2 关键对比维度
计算性能
这个没什么好争的。H100的Transformer引擎在FP8下能达到约2000 TFLOPS，A100在FP16下约312 TFLOPS。
我个人习惯直接看推理吞吐而不是峰值算力。为什么呢？因为实际跑起来，卡间通信带宽和显存带宽往往才是瓶颈。
一个小技巧：选实例时，先看NVLink带宽。A100 80GB的NVLink带宽是600 GB/s，H100是900 GB/s。如果跨卡推理，这个指标比浮点算力更重要。
显存规格
这是个大坑。我曾经在项目里用A100 40GB跑LLaMA-13B，量化后勉强装下，但批处理一上去直接OOM。
说白了，显存决定了你能不能跑，算力决定了跑多快。
| GPU型号 | 显存 | 显存带宽 | 可承载典型模型(4bit量化) |
|---|---|---|---|
| NVIDIA H100 | 80GB HBM3 | 3.35 TB/s | LLaMA-70B (单卡) |
| NVIDIA A100 | 40/80GB HBM2e | 2.0 TB/s | LLaMA-13B ~ 70B (多卡) |
| NVIDIA L40S | 48GB GDDR6 | 864 GB/s | LLaMA-13B (单卡) |
| NVIDIA L4 | 24GB GDDR6 | 300 GB/s | Qwen-7B (单卡) |
| NVIDIA T4 | 16GB GDDR6 | 320 GB/s | ChatGLM-6B (单卡) |
计费模式
价格差异很大。我建议重点关注抢占式/竞价实例，能省60%-90%。但风险是随时可能被回收。
以AWS美东区域为例，看看按需价格和竞价价格的差距：
实例类型 按需价($/h) 竞价价($/h) 节省比例
p4d.24xlarge $32.77 $7.86 ~76%
p5.48xlarge $147.19 $39.74 ~73%
g5.12xlarge $5.67 $1.70 ~70%避坑指南：我曾经在Azure上用竞价实例跑推理服务，结果模型加载到一半被抢占了，那次故障持续了20分钟。所以——生产环境的核心推理服务，别用抢占式。可以搭配spot实例做弹性扩容。
3.3 各家优缺点与选型建议
AWS
优点：实例种类最全，从T4到H100全覆盖。SageMaker和Bedrock生态成熟，配合S3做模型存储非常方便。
缺点：H100实例（p5系列）极难抢。我记得去年有个项目要10台p5.48xlarge，等了整整两周才有库存。
适合：需要弹性伸缩、全球部署、跟AWS生态比较深的团队。
Azure
优点：与微软AI生态（OpenAI、Cognitive Services）集成最好。ND H100v5实例性能不错。
缺点：部分区域A100库存紧张，网络稳定性有时不如AWS。
一个经验：我在Azure上部署Whisper推理服务时，发现其虚拟机重启后的IP保持做得比AWS好——这对长期运行的推理服务很关键。
GCP
优点：GKE（Kubernetes）体验最好。G2实例（L4）是性价比之王，适合中小模型。
缺点：GPU机型选择少，A100和H100的库存在全球都有压力。
适合：使用Kubernetes、对Google生态（BigQuery、Dataflow）有依赖的团队。
阿里云
优点：国内可用区多，合规性好。gn7i系列性价比高，支持A100 40GB。
缺点：H100实例刚上线不久，生态不如AWS成熟。
适合：国内客户、对数据合规要求高的场景。
腾讯云
优点：H800实例独家优势（受美国出口管制影响，H800在国内只能通过腾讯云等少数渠道获取）。
缺点：部分实例没有竞价模式，成本偏高。
适合：需要高性能H800的大模型训练/推理。
3.4 实战：如何快速选型
我一般这么决策，希望能给你一些参考：
- 定模型大小：量化后模型+KV Cache ≤ 单卡显存80%则单卡，否则多卡。
- 定吞吐要求：如果目标50 QPS以上，优先H100/A100；10-50 QPS考虑L40S；10以下L4甚至T4都够。
- 定预算：能接受spot就用spot，不能接受用按需+预留实例（1年约节省40%）。
- 测试一下：最后用一张
vllm命令验证实际效果。
# 简单压测脚本示例
python -m vllm.entrypoints.openai.api_server \
--model /path/to/model \
--tensor-parallel-size 2 \
--gpu-memory-utilization 0.9 \
--max-model-len 4096
# 然后用 curl 请求看首 token 延迟
curl http://localhost:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{"model": "/path/to/model", "prompt": "Hello", "max_tokens": 100}'我的习惯：选好实例后，先开1台跑12小时，看实际吞吐和延迟是否符合预期。很多厂商的“理论性能”跟实际跑起来差30%以上，别信宣传页。
嗯，各家GPU实例的对比就聊到这儿。没有标准答案，关键看你的模型、预算和对延迟的容忍度。下一轮做推理部署时，拿这个对比清单去筛选，能省不少调研时间。