VIP8
本课程属于：007-llama.cpp与GGUF本地部署工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

llama cpp多GPU并行推理实践指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
llama.cpp简介 · 多GPU推理的必要性 · 课程目标与学习路线
课程导论llama.cpp
02
环境准备与编译
安装依赖（CMake · CUDA · cuBLAS
环境准备编译
03
单GPU推理基础
加载模型 · 运行推理 · 理解性能瓶颈
GPU推理基础
04
性能指标与监控
tokens/s · 内存占用 · GPU利用率
性能指标监控
05
多GPU并行原理
模型分片（tensor parall… · 数据并行 · 流水线并行的区别与适用场景
GPU并行原理
06
llama.cpp的多GPU支持
--n-gpu-layers · --tensor-split · --main-gpu参数的作用与配置
llama.cppGPU
07
GPU设备选择与分配
通过CUDA_VISIBLE_DEV… · 指定主GPU与分片策略
GPU设备选择
08
模型量化与多GPU
不同量化格式（Q4_0 · Q4_K_M等）对多GPU推理的影响…
GPU模型量化
09
多GPU推理的显存管理
计算每张卡所需显存 · 优化KV缓存 · 避免OOM
GPU推理的显存管理
10
单卡 vs 多卡性能对比实验
设计对比实验 · 分析加速比与通信开销
vs单卡
11
实战
2张GPU运行LLaMA 7B模型（… · 参数调优 · 结果验证）
GPULLaMA
12
实战
4张GPU运行LLaMA 13B模型… · batch size调整 · 性能调优）
GPULLaMA
13
实战
8张GPU运行LLaMA 30B模型… · PCIe带宽 · NUMA亲和性）
GPULLaMA
14
多GPU下的推理参数优化
context size · batch size · thread count的协调
GPU下的推理参数优化
15
混合精度推理
FP16 · INT8与多GPU的配合 · 使用--memory-f16参数
混合精度推理FP16
16
多GPU与CPU offloading结合
--n-gpu-layers部分卸载 · 平衡GPU/CPU负载
GPUCPU
17
多GPU推理常见错误与排查
CUDA out of memory · 通信错误 · 参数不匹配
GPU推理常见错误
18
使用llama.cpp的server模式进行多GPU推理
REST API部署 · 并发请求处理
llama.cppserver
19
Python绑定与多GPU集成
通过llama-cpp-python… · 示例代码讲解
PythonGPU
20
批量推理与吞吐量优化
合并多个请求 · 动态batching · 流式输出
批量推理吞吐量优化
21
多GPU下的KV缓存复用
提升连续推理效率 · 减少重复计算
GPUKV
22
性能分析工具
使用nsys · nvidia-smi · llama.cpp自带日志分析瓶颈
性能分析工具nsys
23
多节点多GPU分布式推理
MPI/IB网络配置 · 跨节点tensor parallel…
GPU多节点多
24
与vLLM、TensorRT-LLM的多GPU功能对比
优缺点 · 选型建议
vLLMTensorRT-LLM
25
功耗与散热管理
功率限制（--power-limit… · 温度监控 · 长期运行稳定性
功耗散热管理
26
AMD ROCm与多GPU
在AMD显卡上使用llama.cpp…
AMDROCm
27
Apple Metal与多GPU限制
M系列芯片的多GPU现状与替代方案
AppleMetal
28
容器化部署
Docker镜像制作 · 多GPU挂载 · 环境隔离
容器化部署Docker
29
生产环境最佳实践
健康检查 · 自动重启 · 日志收集
生产环境最佳实践健康检查
30
课程总结与进阶资源
常见问题FAQ · 社区资源 · 进一步学习方向
课程总结进阶资源