VIP8
本课程属于：007-llama.cpp与GGUF本地部署工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

llama cpp推理加速实战技巧

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
LLM推理基础
Transformer架构回顾 · 自回归生成原理 · 推理瓶颈分析
LLM推理基础
02
llama.cpp简介
项目背景 · 核心特性 · 与其他推理框架的对比
llama.cpp简介
03
编译与安装
Linux/macOS/Window… · 预编译包使用 · CMake选项详解
编译安装
04
模型格式与转换
GGUF格式原理 · 从Hugging Face转换模型 · 自定义量化参数
模型格式转换
05
量化技术入门
整数量化（Q4_0 · Q5_1等） · 浮点量化（F16
量化技术入门Q4
06
量化实战
选择合适量化类型 · 分步量化命令 · 多模型对比测试
量化实战选择合适量化类型
07
CPU推理优化
AVX2/AVX512指令集加速 · ARM NEON优化 · 调度器选择
CPU推理优化
08
GPU加速基础
CUDA支持安装 · cuBLAS后端启用 · Tensor Core利用
GPU加速基础
09
多GPU推理
设备分割策略 · 张量并行 · 流水线并行的配置与效果
GPU推理
10
KVCache管理
KVCache大小计算 · 缓存复用 · 流式输出下的缓存策略
KVCache管理
11
批处理推理（Batch）
batching原理 · 连续批处理 · 动态批大小调整
Batch批处理推理
12
提示处理加速
prompt prefill优化 · chunked prefill · 异步预处理
提示处理加速prompt
13
采样与生成策略
top-k/top-p采样 · temperature控制 · 重复惩罚的加速实现
采样生成策略
14
上下文长度扩展
NTK-aware缩放 · 动态RoPE · 超长上下文内存优化
上下文长度扩展NTK-aware
15
高性能解码
并行解码（speculative d… · 自回归步数减少技术
高性能解码speculative
16
系统级优化
NUMA绑定 · 大页内存 · CPU频率锁定
系统级优化NUMA
17
内存优化
模型加载mmap · 内存池复用 · 滑动窗口注意力
内存优化mmap
18
跨平台部署
嵌入式设备（ARM） · Android · iOS集成与加速
跨平台部署ARM
19
服务器部署
HTTP Server构建 · 并发请求处理 · 负载均衡
服务器部署HTTP
20
API与集成
Python绑定（llama-cpp… · C++ API调用 · Rust接口
API集成
21
性能评测方法论
延迟 · 吞吐量 · 首延迟的测量与对比
性能评测方法论延迟
22
调优工具使用
profiling（perf · nsys） · 参数扫描
调优工具使用profiling
23
常见问题排查
内存溢出 · 段错误 · 量化后质量下降
常见问题排查内存溢出
24
自定义算子编写
添加新的量化类型 · 融合操作（如layernorm+qu…
自定义算子编写添加新的量化类型
25
多模态扩展
视觉语言模型的推理（LLaVA） · 语音模型适配
多模态扩展LLaVA
26
扩展
同步 vs 异步推理 · 流式输出 · 回调函数
扩展vs
27
结合硬件
Intel AMX · Apple Metal · Intel GPU（OpenCL）加…
结合硬件Intel
28
实战案例一
Chatbot服务（vLLM + l…
实战案例一Chatbot
29
实战案例二
移动端本地模型运行（iPhone/A…
实战案例二iPhone/A
30
未来趋势
最新量化方法（IQ系列） · 稀疏推理 · 量化感知训练（QAT）集成展望
未来趋势IQ