VIP20
本课程属于：004-llama cpp AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型推理框架llama cpp从入门到精通

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
llama.cpp简介
项目起源 · 设计理念与适用场景
llama.cpp简介
02
环境搭建
在Windows/Linux/mac…
环境搭建Windows/Linu…
03
模型文件格式
GGUF与GGML的区别 · 如何获取和转换模型
模型文件格式GGUF
04
基本推理
使用main命令加载模型进行对话与文…
基本推理main
05
量化技术
量化原理 · 常见量化类型（q4_0 · q8_0等）与选择策略
量化技术量化原理
06
交互式参数调优
temperature · top_k · top_p
交互式参数调优temperature
07
服务器模式
启动HTTP server · 通过REST API调用模型
服务器模式HTTP
08
Python绑定
安装llama-cpp-python · 在Python中调用推理
Python绑定
09
上下文窗口
理解context size · 处理长文本与滑动窗口
上下文窗口context
10
批处理与并行推理
批量生成与多线程加速
批处理并行推理
11
GPU加速
CUDA · Metal · Vulkan后端配置与性能对比
GPU加速
12
内存管理
KV缓存原理 · offloading与内存优化技巧
内存管理KV
13
采样器与生成策略
贪婪 · 采样 · beam search等实现
采样器生成策略
14
流式输出
逐token返回输出 · 实现实时生成效果
流式输出token
15
提示词模板
格式化输入 · 适配不同模型（如ChatML · Llama2）
提示词模板格式化输入
16
工具链详解
convert.py · quantize · perplexity等实用工具
工具链详解convert.py
17
模型合并与分割
处理超大模型 · 分片加载与合并
模型合并分割
18
多模态扩展
在llama.cpp中运行LLaVA…
多模态扩展llama.cpp
19
嵌入式部署
在树莓派 · 手机等低资源设备上推理
嵌入式部署树莓派
20
自定义C++集成
将llama.cpp作为库嵌入自己的…
C++自定义
21
微调模型适配
使用LoRA · QLoRA模型进行推理
微调模型适配LoRA
22
性能基准测试
测量生成速度 · 内存占用 · 对比不同配置
性能基准测试测量生成速度
23
错误排查
常见编译错误 · 运行时崩溃 · 显存不足等急救指南
错误排查常见编译错误
24
安全与隐私
内容过滤 · 敏感信息保护与本地化部署
安全隐私
25
社区生态
huggingface模型库 · 开源工具与最佳实践
社区生态huggingface
26
多模型管理
同时加载多个模型进行切换与对比
多模型管理同时加载多个模型…
27
自定义采样器
编写自己的token采样逻辑（需C+…
自定义采样器token
28
日志与调试
启用调试输出 · 分析推理过程
日志调试
29
贡献指南
参与llama.cpp开发 · 提交PR与issue
贡献指南llama.cpp
30
未来展望
动态量化 · 稀疏推理 · 新架构支持等前沿方向
未来展望动态量化