大模型基础与部署形态：从架构认知到场景匹配

在规划大模型部署资源之前，必须首先回答三个问题：模型是什么结构？它需要多少计算资源？它应该运行在哪里？这三个问题的答案直接决定了硬件采购清单、网络带宽规划、存储容量设计和运维策略。很多团队在项目启动时急于选型GPU型号或云厂商，却忽略了从模型本质出发推导资源需求，导致后期频繁扩容或性能不达标。本章将从Transformer架构的基本原理出发，梳理参数量与计算量的换算逻辑，并系统对比云端、边缘、本地三种部署形态的适用边界。

2.1 Transformer架构与资源需求推导

当前主流大模型（GPT系列、LLaMA、Qwen、DeepSeek等）均基于Transformer架构。理解其核心组件是资源规划的第一步。Transformer由多层堆叠的编码器或解码器块组成，每个块包含多头自注意力机制（Multi-Head Self-Attention）、前馈神经网络（Feed-Forward Network, FFN）、层归一化（LayerNorm）和残差连接。其中，自注意力机制的计算复杂度为O(n²)，n为序列长度，这意味着输入文本越长，计算量呈平方级增长。

核心原理：参数量与内存占用

模型参数量（通常以B为单位，即十亿）直接决定了存储需求。以FP16精度（每个参数2字节）为例，一个7B模型的基础权重占用约14GB显存。但实际推理时，还需要额外考虑以下内存开销：

• KV Cache：在自回归生成过程中，需要缓存历史token的Key和Value矩阵。对于7B模型，序列长度为2048时，KV Cache约占用1-2GB；当序列长度扩展到32K时，可能占用10GB以上。
• 激活值（Activations）：前向传播过程中各层的中间输出，在批量推理时占用显著。批量大小（batch size）每增加1，激活内存可能增加数百MB。
• 优化器状态（训练场景）：如果涉及微调，Adam优化器需要额外存储一阶和二阶动量，通常为参数量的2-3倍。

判断方法：从模型参数推导算力需求

推理时的计算量（FLOPs）可以通过公式估算：对于每个生成的token，计算量约为2×参数量（以FLOPs计）。例如7B模型，每生成一个token需要约14 GFLOPs。如果目标吞吐量是每秒生成100个token，则所需算力为1.4 TFLOPs。但实际GPU的利用率通常只有30-50%，因此需要将理论值除以利用率系数。以A100 80G（FP16算力312 TFLOPs）为例，单卡理论上可支持每秒生成约10,000个token，但实际部署中，考虑到KV Cache访问瓶颈和并发调度开销，通常只能达到理论值的20-30%。

2.2 云端部署：弹性与规模的平衡

云端部署是目前大模型应用最广泛的形态，尤其适合需要快速迭代、弹性伸缩或高并发访问的场景。云服务商提供GPU实例、模型托管服务和Serverless推理接口，大幅降低了初始硬件投入。

适用场景与关键指标

• 大规模训练与微调：需要数百甚至数千张GPU卡进行分布式训练，云端可以按需租用，训练完成后释放资源。
• 高并发在线推理：面向公众的对话机器人、内容生成API，流量波动大，云端自动伸缩可应对突发峰值。
• 多区域部署：全球用户访问时，可在不同地域部署节点，降低网络延迟。

云端部署的核心成本模型是“算力单价×使用时长”。以AWS p4d实例（8×A100 40G）为例，按需价格约为每小时32美元，包月约14,000美元。如果每天运行8小时，月成本约7,700美元。相比之下，自建机房购买同等算力硬件约需30万美元，加上机房、电力、运维，回本周期约2-3年。因此，短期项目或算力需求波动大的场景，云端更具成本优势。

案例拆解：某SaaS公司客服机器人的云端部署

一家提供电商客服SaaS的公司，需要为数百家中小商家提供智能问答服务。初始阶段，他们选择在阿里云上部署Qwen-7B模型。关键约束包括：单客户请求量波动大（大促期间峰值可达平时的10倍）、数据涉及用户订单信息（需加密传输）、预算有限。

部署方案采用“函数计算+GPU实例池”的混合架构：平时保持2个GPU实例常驻，大促前通过定时任务扩容至10个实例。实测数据：单实例QPS（每秒查询数）约15，平均延迟800ms。大促期间自动扩容后，QPS峰值达到150，整体可用性维持在99.9%。月成本约3.2万元，其中GPU实例费用占70%，数据存储和流量费用占30%。

复盘发现，KV Cache的内存占用是瓶颈——当用户对话轮次超过10轮时，延迟从800ms上升到1.5秒。优化方案是将最大序列长度从2048调整到1024，并增加对话历史裁剪策略，延迟恢复到900ms以内。这个案例说明，云端部署虽然灵活，但需要精细调整模型参数和实例规格，才能实现成本与性能的平衡。

2.3 边缘部署：低延迟与数据本地化

边缘部署指将模型运行在靠近数据源头的设备上，如工厂的工控机、医院的本地服务器、车载计算平台或智能终端。核心驱动力是低延迟要求和数据隐私保护。

适用场景与硬件约束

• 实时推理：工业质检需要在毫秒级内判断产品缺陷，网络往返时间不可接受。
• 数据敏感：医院的患者病历、银行的交易数据，法律要求不得离开本地网络。
• 离线可用：偏远地区的设备或海上平台，网络不稳定，必须本地推理。

边缘部署的硬件选择范围从嵌入式GPU（如Jetson Orin）到工作站级GPU（如RTX 6000）。关键限制是功耗和散热。以Jetson Orin NX为例，功耗15-25W，可运行7B量化模型（INT8），但生成速度约10-20 token/s，适合对速度要求不高的场景。如果需求是实时视频分析，则需要RTX 4090或更高性能的显卡，功耗达到450W，必须考虑工业级散热方案。

判断方法：边缘部署的可行性评估

1. 测量目标场景的延迟要求（如<100ms、<1s、可容忍数秒）。
2. 计算模型在目标硬件上的推理速度（可通过基准测试工具如vLLM、TensorRT-LLM实测）。
3. 评估数据量：如果每天处理的数据超过100GB，且需要长期存储，边缘设备的存储容量和寿命需要重点考虑。
4. 确认运维能力：边缘设备分散，远程更新模型、监控健康状态需要专门的工具链。

2.4 本地部署：完全控制与高成本

本地部署指在自有数据中心或机房中部署大模型，适用于对数据主权、定制化要求极高的企业。这种形态提供了最大的灵活性，但也带来了最重的运维负担。

硬件规划要点

本地部署的硬件选型需要综合考虑训练、推理和未来扩展。一个典型的7B模型推理节点配置如下：

CPU: Intel Xeon Gold 6330 (2×28核)
内存: 512 GB DDR4 ECC
GPU: NVIDIA A100 80G × 2（或 RTX 6000 Ada × 2）
存储: 2 TB NVMe SSD（模型权重+缓存）
网络: 25GbE 网卡（用于多节点通信）
电源: 2000W 冗余电源
散热: 风冷或液冷（根据机房环境）

这套配置的硬件成本约25-35万元人民币，加上机柜、电力改造、空调散热，首年总投入可能超过40万元。相比云端按需付费，本地部署更适合长期稳定运行且数据量极大的场景。

案例拆解：某大型银行的私有化部署

一家国有银行需要在内网部署70B模型用于智能客服和文档审核。约束条件极为严格：数据不得出内网、模型推理延迟需小于2秒、系统可用性需达到99.99%。他们采购了8台浪潮NF5688服务器，每台配置8×A100 80G，总硬件投入约600万元。部署采用TensorRT-LLM推理框架，通过张量并行（Tensor Parallelism）将模型分布到8张GPU上。

实测性能：单请求延迟1.2秒（输入512 token，输出128 token），并发支持32路。运行半年后，发现GPU利用率平均只有35%，主要瓶颈在CPU的数据预处理和GPU间的通信开销。优化方案包括：增加CPU核数、使用NVLink优化GPU通信、调整批处理策略。优化后，GPU利用率提升至55%，并发能力提升到50路。

复盘经验：本地部署的隐性成本包括：专业运维团队（至少2人）、定期硬件巡检、模型更新时的停机窗口。银行最终核算，单次模型版本升级需要4小时停机，业务部门需提前审批。这种“重资产”模式适合对数据安全要求极高的行业，但对大多数中小企业而言，混合云方案可能更务实。

2.5 部署形态对比与决策矩阵

三种部署形态并非互斥，实际项目中常采用混合策略。下表从多个维度进行对比，帮助决策者快速定位适合的形态。

决策流程：三步确定部署形态

1. 延迟与数据约束：如果延迟要求小于10ms或数据不能出内网，直接排除云端；如果延迟容忍度在100ms以上且数据可加密传输，云端优先。
2. 成本模型测算：预估未来12个月的算力需求曲线。如果需求平稳且长期运行，本地部署的边际成本更低；如果需求波动大，云端更划算。
3. 运维能力评估：团队是否有GPU集群运维经验？如果没有，云端托管服务（如ModelArts、SageMaker）可以大幅降低门槛。