4. 算力与基础设施可行性
算力是AI产品的物理基础。技术可行性分析中，算力维度回答三个问题：需要多少算力、部署在哪里、以及成本是否能被业务接受。本章围绕算力需求估算、云/边/端部署选型、基础设施成本建模展开，提供一个可复用的分析框架。
4.1 系统边界与分层
算力基础设施可行性分析的系统边界从模型训练延伸至推理部署，涉及硬件、调度、成本三个层面：
| 分层 | 组件 | 职责 |
|---|---|---|
| 应用层 | 推理服务、预处理、后处理 | 接受请求，调用模型，返回结果 |
| 模型层 | 训练作业、模型优化、模型量化 | 定义计算图，决定算力消耗上界 |
| 调度层 | 资源管理器、队列、弹性伸缩 | 分配GPU/CPU/TPU，管理作业生命周期 |
| 硬件层 | GPU集群、边缘设备、终端芯片 | 提供物理算力，受功耗和散热约束 |
| 成本层 | 计费模型、预留实例、竞分实例 | 将算力消耗转化为财务数字 |
4.2 数据流与控制流
典型AI产品的算力流分为两条路径：
- 训练数据流：数据管道 → 预处理（CPU密集型） → 训练作业（GPU密集） → 模型校验 → 模型库
- 推理数据流：请求 → 预处理 → 模型推理（GPU/CPU/边缘NPU） → 后处理 → 响应返回
- 控制流：监控指标（GPU利用率、显存占用） → 弹性伸缩决策 → 扩缩容操作
两者共享同一个基础设施池，但在资源规格、时间跨度和成本结构上差异巨大，需要分别估算。
4.3 算力需求估算方法
估算应区分训练算力和推理算力，采用不同公式：
训练算力估算公式：
训练FLOPs = 6 × 参数量 × 训练Token数 (基于Chinchilla法则)
训练GPU时长(小时) = 训练FLOPs / (GPU峰值TFLOPS × GPU利用率)
训练成本 = GPU时长 × 单价(元/GPU·小时)经验值参考：标准Transformer模型，GPU利用率通常取30%–50%；使用Flash Attention与混合精度训练可将利用率提升至50%–65%。
推理算力估算公式：
单次推理FLOPs ≈ 2 × 参数量 × 序列长度 (自回归生成场景)
单GPU并发数 = GPU显存 / (模型权重 + KV Cache + 中间激活)
所需GPU数 = QPS峰值 × 最大延迟约束 / (单GPU并发数 × 目标延迟)估算步骤清单：
- 确定模型参数量与输入/输出序列长度；
- 根据业务QPS与延迟目标，计算推理所需并发量；
- 查表获取目标GPU（如A100、H100、L40S）的TFLOPS与显存规格；
- 代入公式，得到训练与推理各自的GPU（或加速器）数量需求；
- 预留20%–30%的buffer用于版本迭代与突发流量。
4.4 部署选型：云/边/端
选型决策受延迟要求、数据主权、网络条件、算力密度和运维能力五个因素约束。下表对比三类部署场景：
| 维度 | 云端部署 | 边缘部署 | 终端部署 |
|---|---|---|---|
| 典型硬件 | A100/H100/TPU v5p | Jetson AGX Orin / 边缘服务器 | 手机SoC NPU / 嵌入式AI芯片 |
| 延迟 | 10–100ms（含网络） | 5–20ms（本地） | 1–10ms（设备内） |
| 模型大小限制 | 无硬性限制 | 通常 <10B参数 | 通常 <1B参数（量化后） |
| 数据隐私 | 需传输至云端 | 数据本地处理，结果上云 | 全本地，不上传 |
| 运维复杂度 | 低（托管服务） | 中（需OTA与远程管理） | 低（一次部署） |
| 弹性扩容 | 强 | 弱（硬件固定） | 无 |
常见陷阱：边缘与终端部署容易低估模型优化工作量。原始FP16模型通常无法直接运行，必须经过量化（INT8/INT4）、剪枝、蒸馏等压缩步骤。需在可行性分析阶段预留至少2–4周的模型优化时间。
4.5 成本模型与估算示例
成本模型以总拥有成本（TCO）为框架，包含以下费用项：
- 训练成本：GPU租赁费 / 购机折旧 + 存储费 + 数据预处理费
- 推理成本：GPU实例费 + 弹性伸缩预留费 + 出站流量费
- 运维成本：模型监控、日志存储、告警系统、人工值班
- 一次性成本：模型优化工具、自动化测试、CI/CD集成
示例：7B模型推理成本估算
模型：Llama2-7B FP16 序列长度 2048
单次推理FLOPs ≈ 2 × 7e9 × 2048 ≈ 2.87e13
目标：峰值QPS=100, 延迟P99<200ms
选用GPU：A100-80GB (TFLOPS=312, 显存80GB)
单GPU并发数上限：80GB / (14GB 权重 + 12GB KV Cache) ≈ 3
所需GPU数：100 / 3 ≈ 34（取整35）
日推理成本(按需)：35 GPU × 24h × ¥8/GPU-h ≈ ¥6,720/天
月推理成本 ≈ ¥200,000（未含网络与存储）4.6 选型权衡决策树
决策顺序：先确定“是否必须实时”，再确定“数据能否离开本地”，最后匹配“可用算力与预算”。
4.7 风险点清单
| 风险 | 描述 | 缓解措施 |
|---|---|---|
| 算力估算偏差 | 低估推理QPS或训练批量，导致预算严重超支 | 使用有代表性的压测数据，设置10%–30%弹性buffer |
| 模型压缩降质 | 量化后模型精度下降超过业务容忍阈值 | 在交付前完成量化感知训练（QAT）校准 |
| 厂商锁定 | 依赖特定GPU生态（如CUDA），迁移成本高 | 保留ONNX或OpenXLA中间表示，支持多后端 |
| 区域算力不足 | 某些云区域A100/H100实例供不应求 | 提前预留实例，建立多云备选方案 |
| 流量突发 | 活动期间QPS骤升导致实例满载、延迟超限 | 配置自动扩容策略与熔断保护 |
4.8 落地步骤
- 锁定模型基线：确定参数量、推理序列长度、批处理大小上限；
- 基准测试：在目标硬件上运行模型，获取真实TFLOPS、显存占用与延迟分布；
- 成本基线计算：代入云厂商定价或硬件折旧模型，得到月/年TCO；
- 选型决策：按4.6节决策树选择云/边/端部署策略；
- 优化迭代：若成本超出预算，执行量化、剪枝、蒸馏或降级模型规格；
- 试运行验证：在预生产环境运行72小时，验证延迟SLA与成本实际值。
4.9 验收标准
- 算力精确度：实际训练/推理开销与估算值偏差 ≤ 20%；
- 延迟达标：P99推理延迟 ≤ 目标值 × 1.1倍；
- 成本可控：月度TCO ≤ 业务预算上限；
- 弹性生效：流量突增至2倍峰值时，系统能在5分钟内完成自动扩容且不产生错误响应；
- 优化可验证：模型压缩后的精度损失 ≤ 1%（或业务定义的可接受阈值）。
满足上述验收标准后，算力与基础设施可行性分析即告通过，可转入下一阶段：数据管道与特征工程设计。