4. 模型推理成本估算：推理请求量、延迟要求、批处理大小与成本关系
模型推理成本是机器学习系统上线后最主要的持续支出项。与训练成本的一次性投入不同，推理成本随请求量线性增长，且受延迟要求与批处理策略的显著影响。本章从三个核心变量——推理请求量（QPS）、延迟要求（Latency SLO）与批处理大小（Batch Size）——出发，建立成本估算的量化模型。
4.1 推理成本构成与关键变量
推理成本主要由计算资源（GPU/TPU 实例）的租赁费用构成，其核心公式可抽象为：
推理成本（$/小时） = 实例单价（$/小时） × 实例数量其中实例数量由以下三个变量共同决定：
| 变量 | 符号 | 定义 | 典型范围 |
|---|---|---|---|
| 推理请求量 | QPS | 每秒请求数（Queries Per Second） | 10 ~ 100,000+ |
| 延迟要求 | P99 Latency | 99% 请求必须在指定毫秒内完成 | 50ms ~ 2000ms |
| 批处理大小 | Batch Size | 单次推理同时处理的样本数 | 1 ~ 512 |
关键洞察： 批处理大小是连接延迟与吞吐量的杠杆。增大批处理可提升 GPU 利用率、降低单位请求成本，但会线性增加单次推理的延迟。延迟要求越严格，批处理大小的上限就越低。
4.2 批处理大小与延迟的权衡曲线
下图展示了不同批处理大小下，模型推理延迟与吞吐量的典型关系。该曲线是成本估算的核心依据。
4.3 成本估算三步法
基于上述权衡关系，推理成本估算可按以下三个步骤执行：
- 确定基准延迟与最大批处理
在目标硬件上运行模型，测量 Batch=1 时的 P99 延迟（记为 L₁）。然后逐步增大批处理，直到延迟超过延迟要求 SLO 的 80%（预留余量），记录此时的最大批处理大小 B_max。 - 计算单实例吞吐量
单实例最大吞吐量 = B_max × (1000 / L_Bmax)，其中 L_Bmax 为 B_max 下的 P99 延迟（单位 ms）。 - 计算所需实例数
实例数 = ceil(目标 QPS / 单实例吞吐量)。最终成本 = 实例数 × 实例单价。
案例： 某 LLM 在 A100 上 Batch=1 延迟 40ms，Batch=32 延迟 120ms（满足 150ms SLO）。单实例吞吐量 = 32 × (1000/120) ≈ 267 QPS。若目标 QPS=2000，需 ceil(2000/267) ≈ 8 个实例。A100 按需单价 $3.5/小时，则推理成本 = 8 × $3.5 = $28/小时。
4.4 延迟要求对成本的放大效应
延迟要求越严格，批处理大小被迫越小，导致单位请求成本急剧上升。下表展示了不同延迟 SLO 下的成本差异：
| 延迟 SLO (P99) | 最大批处理 | 单实例吞吐量 (QPS) | 所需实例数 (目标 2000 QPS) | 每小时成本 ($3.5/实例) |
|---|---|---|---|---|
| 50 ms | 4 | 80 | 25 | $87.5 |
| 100 ms | 16 | 160 | 13 | $45.5 |
| 200 ms | 64 | 320 | 7 | $24.5 |
| 500 ms | 256 | 512 | 4 | $14.0 |
成本陷阱： 将延迟 SLO 从 200ms 收紧到 50ms，成本可能上升 3~6 倍。在业务初期，建议使用较宽松的延迟要求（如 500ms~1s），待请求量稳定后再逐步优化。
4.5 请求量波动与弹性伸缩策略
实际生产环境中，推理请求量并非恒定值，而是呈现明显的日周期波动。下图展示了弹性伸缩策略如何影响成本：
4.6 成本估算安全权限配置
推理成本估算涉及云资源预算，必须配置安全权限以防止误操作或超支：
- 预算告警： 在云平台设置月度推理成本预算上限（如 $10,000），达到 80% 时触发告警，100% 时自动暂停非关键推理任务。
- 实例类型锁定： 限制推理集群只能使用预定义的实例类型（如 A100-40GB），禁止使用更昂贵的实例（如 H100）或按需竞价实例。
- 批处理大小上限： 在模型推理服务配置中硬编码最大批处理大小，防止因延迟 SLO 被突破而自动扩容导致成本失控。
- 请求量限流： 对每个 设置 QPS 上限，避免突发流量导致实例数激增。
最佳实践： 使用基础设施即代码（IaC）工具（如 Terraform）管理推理集群的伸缩策略，并将成本估算模型集成到 CI/CD 流水线中。每次模型更新或配置变更时，自动重新估算推理成本并对比预算阈值。
4.7 综合成本估算示例
以下是一个完整的推理成本估算脚本（Python 伪代码），可直接用于项目初期评估：
def estimate_inference_cost(
model_name: str,
target_qps: int,
latency_slo_ms: int,
instance_price_per_hour: float,
batch_size_latency_map: dict # {batch_size: p99_latency_ms}
) -> dict:
# 步骤1：找到满足延迟SLO的最大批处理
max_batch = 1
for batch, lat in batch_size_latency_map.items():
if lat <= latency_slo_ms * 0.8: # 预留20%余量
max_batch = max(max_batch, batch)
# 步骤2：计算单实例吞吐量
latency_at_max_batch = batch_size_latency_map[max_batch]
throughput_per_instance = max_batch * (1000 / latency_at_max_batch)
# 步骤3：计算实例数与成本
num_instances = math.ceil(target_qps / throughput_per_instance)
hourly_cost = num_instances * instance_price_per_hour
monthly_cost = hourly_cost * 24 * 30
return {
"max_batch_size": max_batch,
"throughput_per_instance": round(throughput_per_instance, 1),
"num_instances": num_instances,
"hourly_cost": round(hourly_cost, 2),
"monthly_cost": round(monthly_cost, 2)
}
# 示例调用
result = estimate_inference_cost(
model_name="llama-7b",
target_qps=2000,
latency_slo_ms=150,
instance_price_per_hour=3.5,
batch_size_latency_map={1:40, 4:55, 8:70, 16:95, 32:120, 64:180}
)
print(result)
# 输出: {'max_batch_size': 32, 'throughput_per_instance': 266.7,
# 'num_instances': 8, 'hourly_cost': 28.0, 'monthly_cost': 20160.0}通过上述方法，团队可以在模型上线前准确预估推理成本，并基于延迟要求与请求量波动制定合理的弹性伸缩策略与安全权限配置，避免预算超支。