第3章 部署架构与运维成本：本地部署 vs 云端
3.1 边界定义与分层视图
本章聚焦于 AI Agent 系统在生产环境中的两种主流部署形态——本地自建（On‑Premise）与公有云托管（Cloud‑Managed）。边界覆盖 Agent 运行时、LLM 推理服务、向量数据库、缓存、存储及网络出入口。以下分层结构同时适用于两种模式，但各层组件在物理位置与运维责任上存在显著差异。
| 层次 | 组件职责 | 本地部署 | 云端部署 |
|---|---|---|---|
| 接入层 | API 网关、负载均衡、身份认证 | 自建 Nginx/Haproxy，证书自行管理 | 云负载均衡器（ALB/CLB）自动扩缩 |
| 应用层 | Agent 编排（LangGraph/CrewAI 自定义 runtime） | 物理机/VM，运维团队手工升级 | K8s Pod / Serverless，CI/CD 自动发布 |
| 推理层 | LLM 模型推理（vLLM / TGI / llama.cpp） | 专用 GPU 服务器，需硬件维保 | GPU 实例（A100/H100）按分钟计费 |
| 数据层 | 向量库（Milvus / Qdrant）、KV 缓存（Redis）、文档存储（MinIO） | 本地 RAID 磁盘，容量固定 | 托管云数据库 + 对象存储，弹性存储 |
3.2 组件职责与信任链路
- Agent Runtime：解析用户请求、调度工具调用、维护会话状态。推荐使用无状态容器化部署，避免绑定特定节点。
- LLM 推理引擎：必须隔离在独立网络平面，仅暴露必要的 gRPC/REST 接口。本地部署需自行管理 GPU 驱动与 CUDA 版本；云端可通过推理端点（如 Bedrock、Vertex AI）获得 SLA 保障。
- 向量数据库：支持 BRIN 索引的最优写性能。本地需规划定时备份策略；云端托管服务自动处理副本与快照。
- 信任链路：所有跨层通信强制使用 mTLS + 短时 token。本地部署的证书颁发与轮转由内部 CA 完成；云端可使用托管证书管理服务（如 ACM）。
3.3 数据流与控制流
- 用户请求 → 接入层鉴权 → Agent Runtime 读取会话上下文。
- Runtime 根据意图构建提示词，调用 LLM 推理层获取初步回复。
- 若需检索外部知识，Runtime 向向量数据库发送 embedding 查询，合并结果后重新提交给 LLM。
- LLM 输出经过安全过滤（敏感词/合规检查）后返回用户。
- 控制流：端到端延迟关键路径为“用户→推理→检索→推理→用户”，本地部署可通过私有网络减少跳数，云端需注意跨 AZ 延迟。
信任链路风险： 本地部署中，内网流量通常未被加密，若被横向移动植入后门 Agent，将导致全系统泄露。云端部署虽默认加密，但需审计云服务商的运维权限模型，防止内部人员越权访问推理日志。
3.4 选型权衡量化表
| 维度 | 本地部署 | 云端部署 |
|---|---|---|
| 初始投入 | 硬件采购（GPU $10k‑$50k/卡）、机房改造 | 零硬件成本，按需付费 |
| 运维人力 | 需专职 SRE 团队（2~3人）处理 GPU 故障、网络、电源 | 云 SRE 由平台承担，内部仅需配置管理员 |
| 资源扩展性 | 物理机扩容周期 2~6 周，受限于硬件采购 | 分钟级弹性伸缩，但需预配实例配额 |
| GPU 利用率 | 高峰期可能不足，低谷期无法回收，平均利用率 30%~60% | Spot 实例 + 自动缩放可提升至 70%~90% |
| 合规审计 | 数据完全控制在内部，满足金融/政务等高合规要求 | 需签署 DPA（数据处理协议），部分场景需本地化部署云 |
| 灾难恢复 | 需异地备份中心，投入翻倍 | 多 AZ 自动容灾，RTO 通常在 15 分钟内 |
3.5 风险点与缓解措施
- GPU 故障：本地部署卡死概率约 1%/月，需准备冗余节点及自动占位；云端可通过 Instance Refresh 自动替换。
- 网络瓶颈：Agent 多次调用 LLM 产生的内网带宽；本地建议 25GbE 以上，云端选择同 Region 内通信。
- 成本飞涨：云端推理 token 单价 x QPS 累积后的 TCO 可能高于预期；建议使用 caching layer + 模型蒸馏降低调用量。
3.6 落地步骤（本地混合方案示例）
- 第一阶段（PoC）：在云端使用 vLLM + 小参数模型验证核心链路，保留切换本地硬件的能力。
- 第二阶段（私有化 Pilot）：采购 1 台 8×A100 节点，部署 Ollama + Milvus 最小集，压测极限 QPS。
- 第三阶段（生产切换）：构建 Kubernetes 集群，使用 GPU Operator 管理驱动与调度；将推理流量逐步从云端切至本地。
3.7 验收标准
| 验收项 | 本地部署标准 | 云端部署标准 |
|---|---|---|
| P99 推理延迟 | < 800ms（8K 上下文） | < 1200ms（含网络） |
| 可伸缩性 | 支持从 1 节点线性扩至 16 节点 | 支持从 1 窗口扩至 100 窗口 |
| 成本偏差 | 月度运维成本 < 硬件摊销的 10% | 月度账单 < 预算预警阈值 |
| 故障恢复 | 单 GPU 故障后 5 min 内自动迁移服务 | AZ 中断后 15 min 内完成流量切换 |
3.8 部署架构对比图
3.9 选型建议总结
在预算充足且对数据主权高度敏感的场景（金融、政府、军工），首选本地部署，但需承受弹性不足与运维高压。对于互联网、电商、游戏等追求快速迭代的业务，云端部署是更优解。建议中小团队采用“数据存储本地 + 推理租用云端 GPU 实例”的混合架构，平衡成本与合规。
成本估算参考（月均，100 QPS，Llama‑3‑70B）：
本地：硬件摊销 $12,000 + 运维 $4,000 + 电力 $3,000 ≈ $19,000
云端 (按需)：$28,000 ± $5,000（含网络出流量）
云端 (预留实例 1 年)：$18,000（需锁定用量）
云端 (Spot 实例)：$9,000（需容忍中断）
本地：硬件摊销 $12,000 + 运维 $4,000 + 电力 $3,000 ≈ $19,000
云端 (按需)：$28,000 ± $5,000（含网络出流量）
云端 (预留实例 1 年)：$18,000（需锁定用量）
云端 (Spot 实例)：$9,000（需容忍中断）