课程导入：大模型部署的现状与挑战，资源规划的重要性，课程目标与学习路径
2025年，大模型已从实验室走向生产环境，企业不再纠结"要不要用"，而是直面"怎么用好、怎么用得起"的残酷现实。一个70B参数的稠密模型，仅权重就需要约140GB显存；若采用FP16精度推理，单卡A100（80GB）根本无法承载，至少需要2张；若考虑KV Cache、激活值和运行时开销，实际资源需求往往是理论值的2-3倍。更严峻的是，GPU采购周期长达数月，云上按需实例每小时成本可达数十元，一旦规划失误，轻则预算超支，重则项目延期、业务受损。本章作为全课程的开篇，将系统梳理大模型部署的资源规划全景，帮助学员建立"先算账、再动手"的工程思维。
1.1 大模型部署的现状与挑战
核心原理：从"能跑"到"跑好"的跨越
大模型部署与传统软件部署有本质区别。传统应用部署关注CPU、内存、磁盘，而大模型部署的核心资源是GPU显存、算力（TFLOPS）、显存带宽（GB/s）和卡间互联带宽。以Llama 3 70B为例，FP16权重占用140GB，BF16同样如此；若采用INT8量化，权重降至70GB，但精度损失需通过校准数据集验证。更关键的是，推理过程中的KV Cache随序列长度线性增长——一个支持32K上下文、batch size为32的部署，KV Cache可能额外消耗40-80GB显存。这意味着，仅凭模型参数量估算资源，误差可能超过50%。
判断方法：三类部署场景的资源画像
| 场景类型 | 典型模型规模 | 核心瓶颈 | 推荐资源 |
|---|---|---|---|
| 轻量级（对话/分类） | 7B-13B | 延迟敏感 | 单张A10/A100，INT8量化 |
| 中量级（RAG/Agent） | 13B-34B | 吞吐与上下文长度 | 2-4张A100/H100，张量并行 |
| 重量级（训练/长文本） | 70B+ | 显存容量与互联带宽 | 8张H100，流水线+张量并行 |
案例拆解：某金融企业智能客服的资源误判
某金融企业计划部署一个13B模型用于智能客服，初期仅按权重26GB（FP16）估算，认为单张A100（80GB）足够。实际上线后发现：并发50路、上下文4K时，KV Cache占用约18GB，激活值约6GB，加上CUDA上下文和框架开销，总显存需求超过55GB。虽然单卡仍可运行，但延迟从预期的200ms飙升至800ms，因为显存带宽成为瓶颈。最终不得不改为2卡张量并行，并引入INT8量化，才将延迟降至300ms以内。复盘发现，若初期按"权重×1.8+KV Cache×1.5"估算，可避免一次硬件采购返工。
1.2 资源规划的重要性：成本、性能与风险的三重博弈
核心原理：资源规划是部署的"地基工程"
资源规划不是简单的硬件选型，而是贯穿模型选择、精度策略、并行方案、调度策略、成本模型的系统性决策。一个典型的70B模型，若采用8卡H100（80GB）部署，硬件成本约200万元；若改用4卡A100（80GB）+INT8量化，成本降至60万元，但吞吐量可能下降30%。资源规划的核心是在性能（延迟/吞吐）、成本（采购/租赁）、风险（扩展性/稳定性）之间找到平衡点。更关键的是，规划决定了后续所有优化手段的上限——如果显存规划不足，量化、并行、调度都无从谈起。
判断方法：资源规划五步法
- 明确SLA： 确定P99延迟、QPS、并发数、上下文长度等硬性指标。
- 模型选型： 根据任务复杂度选择模型规模，评估量化可行性。
- 显存估算： 按公式计算权重+KV Cache+激活值+预留，得出单卡需求。
- 算力匹配： 验证GPU算力是否满足延迟要求（TFLOPS利用率通常为30%-50%）。
- 成本核算： 对比自建与云上租赁，考虑3年TCO（总拥有成本）。
实战场景：云上弹性部署的成本对比
某SaaS公司需要为1000家企业客户提供API服务，峰值QPS为2000，平均请求长度512 token。对比方案：自建20台A10（24GB）服务器，硬件成本约300万元，3年电费+运维约50万元；云上使用弹性GPU实例，按需付费，高峰期使用200实例，低谷期缩至50实例，3年总成本约180万元。虽然云上单价更高，但弹性伸缩节省了60%的闲置成本。资源规划的关键在于：识别业务波峰波谷，设计自动扩缩容策略，而非简单堆硬件。
1.3 课程目标与学习路径
核心原理：从"会部署"到"会规划"的能力跃迁
本课程的目标不是教你敲几条部署命令，而是建立一套完整的资源规划方法论。学完本课程，你将能够：独立完成大模型部署的资源估算、方案选型、成本核算、性能调优和风险控制。课程覆盖从单卡推理到千卡集群的全链路，包含硬件选型、并行策略、量化压缩、推理引擎、调度编排、监控运维等30个专题，每个专题都配有真实案例和可复用的检查清单。
学习路径：四阶段递进式设计
| 阶段 | 章节范围 | 核心能力 | 实战产出 |
|---|---|---|---|
| 基础认知 | 1-5章 | 理解GPU架构、显存模型、推理原理 | 能完成单卡部署的资源估算 |
| 进阶优化 | 6-15章 | 掌握量化、并行、KV Cache优化 | 能设计多卡部署方案并调优 |
| 工程化 | 16-25章 | 熟悉推理引擎、调度、弹性伸缩 | 能搭建生产级推理服务 |
| 运营治理 | 26-30章 | 成本优化、监控告警、容灾演练 | 能构建完整的资源治理体系 |
案例拆解：某互联网大厂的学习路径实践
某互联网大厂算法团队在转型大模型部署时，采用"理论+沙箱+生产"三步走：先在云上申请按需GPU实例，用7B模型跑通全流程；再通过模拟压测工具（如Locust）验证并发场景；最后在灰度环境逐步放量。整个过程历时6周，团队从"只会调API"成长为"能独立完成70B模型部署"。关键经验是：不要一开始就追求大规模集群，而是从单卡开始，逐步增加并行度和优化手段，每一步都记录资源消耗和性能指标，形成自己的部署基线。
总结复盘：本章核心要点
- 大模型部署的资源规划必须考虑权重、KV Cache、激活值、框架开销四部分，预留20%-30%余量。
- 部署场景决定资源策略：轻量级重延迟、中量级重吞吐、重量级重容量与互联。
- 资源规划五步法：明确SLA→模型选型→显存估算→算力匹配→成本核算。
- 云上弹性部署可降低TCO，但需设计自动扩缩容策略。
- 本课程采用"基础认知→进阶优化→工程化→运营治理"四阶段递进，每章配有案例和检查清单。