2. 成本估算基础:计算资源成本(CPU/GPU/TPU)、存储成本、网络带宽成本

机器学习模型的成本估算首先需要理解底层基础设施的计费模型。本章聚焦三类核心资源:计算资源(CPU/GPU/TPU)、存储资源(对象存储与块存储)以及网络带宽(入站/出站流量)。准确估算这些成本是后续安全权限配置与预算控制的前提。

2.1 计算资源成本(CPU/GPU/TPU)

计算资源是 ML 工作负载中占比最高的成本项。不同计算单元适用于不同阶段:CPU 适合数据预处理与轻量推理,GPU/TPU 主导模型训练与批量推理。

资源类型 典型用途 计费单位 成本特征
CPU 实例 数据清洗、特征工程、小模型推理 vCPU·小时 按核数线性增长;预留实例可节省 30-60%
GPU 实例 深度学习训练、批量推理、模型微调 GPU·小时 单价高(CPU 的 5-20 倍);需考虑显存大小
TPU 实例 大规模分布式训练(TensorFlow/JAX) TPU·小时 按 Pod 切片计费;适合长期训练任务
成本估算要点: 训练成本 = 实例单价 × 训练时长 × 实例数量。务必计入启动/关闭延迟(通常 1-3 分钟)和抢占式实例折扣(可降低 60-80%,但需容忍中断)。

以下 SVG 展示了 ML 工作流中不同阶段的计算资源选择与成本层级关系:

ML 工作流计算资源成本层级 ML 工作流计算资源成本层级 数据准备阶段 CPU 实例(通用型) vCPU: 4-16 核 成本: 低 约 $0.10-0.50/h 模型训练阶段 GPU/TPU 实例 GPU: A100/H100 成本: 高 约 $3.00-15.00/h 推理部署阶段 CPU/GPU 混合 按吞吐量弹性伸缩 成本: 中 约 $0.50-5.00/h 成本趋势:数据准备(低)→ 模型训练(高)→ 推理部署(中,可优化) 成本优化策略 • 训练阶段:使用抢占式/Spot 实例,设置自动关机策略 • 推理阶段:采用 CPU 推理 + 模型量化,减少 GPU 依赖 • 跨阶段:预留实例(1 年/3 年)可降低 40-70% 按需成本

2.2 存储成本

ML 项目涉及大量数据存储:原始数据集、预处理特征、模型检查点、训练日志与模型制品。存储成本通常按存储容量(GB/月)和访问频率(读写请求次数)计费。

关键分类:
  • 对象存储(如 AWS S3、GCS、Azure Blob):适合大规模数据集与模型制品,按存储量 + 请求次数计费。
  • 块存储(如 EBS、Persistent Disk):挂载到计算实例,适合数据库与临时工作目录,按预分配容量计费。
  • 文件存储(如 EFS、NFS):共享文件系统,适合多节点训练数据共享,按使用量计费。
存储类型 典型场景 计费模型 成本范围(每 GB/月)
对象存储(标准) 原始数据、模型制品 存储量 + GET/PUT 请求 $0.020 - $0.025
对象存储(冷归档) 历史数据备份 存储量 + 取回费用 $0.001 - $0.010
块存储(SSD) 训练实例系统盘 预分配容量(IOPS 另计) $0.080 - $0.125
文件存储 多节点共享数据集 使用量 + 吞吐量 $0.030 - $0.060
存储成本陷阱: 训练过程中频繁保存检查点(Checkpoint)可能导致对象存储请求费用激增。建议:① 只保留最近 N 个检查点;② 使用生命周期策略自动迁移冷数据;③ 对临时数据使用本地 SSD(实例存储),不产生持久化存储费用。

2.3 网络带宽成本

网络带宽成本常被低估,但在分布式训练与跨区域数据传输场景中可能成为主要开销。大多数云厂商对入站流量免费,对出站流量按 GB 计费。

  • 入站流量(Ingress):上传数据集、拉取镜像等,通常免费。
  • 出站流量(Egress):下载模型、对外 API 响应、跨区域复制数据,按 GB 计费。
  • 跨区域/跨可用区流量:同一区域不同可用区间流量通常免费或极低;跨区域(如 us-east-1 到 eu-west-1)费用较高。
  • NAT 网关/负载均衡器:处理出站流量时产生额外处理费与带宽费。

以下 SVG 展示了 ML 工作流中的网络流量路径与成本产生点:

ML 网络带宽成本路径图 ML 网络带宽成本路径图 数据源 对象存储 / 数据库 入站(免费) 训练/推理集群 GPU/TPU 节点 内部通信(免费) 出站(收费) 用户/客户端 API 调用 / 下载 跨区域复制 高费用($0.02-0.12/GB) 成本优化:将训练数据与计算集群部署在同一区域;使用 CDN 缓存推理结果;压缩传输数据 避免频繁跨区域同步检查点,优先使用区域内的共享存储

2.4 综合成本估算示例

以下是一个典型 ML 训练任务的成本估算模板,涵盖三类资源:

# 成本估算示例:BERT 模型微调(单节点,4×A100 GPU)
# 训练时长:48 小时

计算资源:
  GPU 实例:4 × A100 (80GB) × 48h × $4.50/h = $864.00
  CPU 预处理:8 vCPU × 12h × $0.30/h = $28.80

存储资源:
  数据集(500GB 对象存储标准):500 × $0.023/GB/月 = $11.50/月
  检查点(每 2h 保存,共 24 个,每个 10GB):临时存储(本地 SSD,无额外费用)
  模型制品(5GB 对象存储):5 × $0.023 = $0.12

网络带宽:
  数据上传(入站免费):$0.00
  模型下载(出站 5GB):5 × $0.09/GB = $0.45
  跨区域同步(假设无):$0.00

总计:$864.00 + $28.80 + $11.62 + $0.45 = $904.87
安全权限与成本关联: 在后续章节中,我们将看到如何通过最小权限策略限制存储桶的公开访问、控制实例的创建/删除权限,从而防止因配置错误导致的意外出站流量或资源滥用。成本估算与安全权限配置是相互强化的——准确的成本基线能帮助识别异常资源消耗,而合理的权限控制能防止成本失控。