VIP20
本课程属于：004-llama cpp AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

llama cpp GGUF模型转换入门教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
GGUF格式概述
什么是GGUF · 为什么选择GGUF · GGUF与GGML的区别
GGUF格式概述
02
llama.cpp简介
llama.cpp项目背景 · 功能特点 · 支持的模型架构
llama.cpp简介
03
环境搭建（一）
Linux/macOS系统下的编译安… · 依赖项与cmake配置
环境搭建Linux/macOS
04
环境搭建（二）
Windows系统下的编译（MSYS… · Visual Studio）与常见问…
环境搭建Windows
05
Python绑定安装
llama-cpp-python库安… · pip源选择 · 验证安装
Python绑定安装
06
模型文件基础
Hugging Face模型下载 · PyTorch/AutoGPTQ格式…
模型文件基础Hugging
07
转换前置准备
安装依赖（protobuf · sentencepiece · torch等）
转换前置准备protobuf
08
官方转换工具（convert.py）
脚本功能 · 输入输出格式 · 典型命令行参数
convert.py官方转换工具
09
转换实践（一）
将Llama 2 7B从HF格式转换…
转换实践Llama
10
转换实践（二）
处理Mistral/Mixtral模…
转换实践Mistral/Mixt…
11
转换实践（三）
CodeLlama · Phi等非标准架构的转换技巧
转换实践CodeLlama
12
量化基础
为什么需要量化 · 常见量化类型（q4_0 · q5_1
量化基础为什么需要量化
13
量化方法选择
性能与精度的权衡 · 不同量化等级的对比表格
量化方法选择性能
14
使用llama-quantize进行量化
命令行用法 · 典型参数 · 输出文件
llama-quanti…使用
15
量化后验证
通过llama-cli（main）测…
量化后验证llama-cli
16
自定义量化参数
调整block size · 混合量化 · 实验性选项
自定义量化参数block
17
GGUF文件结构深入
元数据区 · 张量数据 · 键值对
GGUF文件结构深入
18
文件拆分与合并
处理超大模型（如70B） · 使用split/merge工具
文件拆分合并
19
模型头部修改
修改GGUF元数据（如替换templ… · 定义eos_token）
模型头部修改GGUF
20
C++接口调用（一）
llama.h基本API · 加载模型 · tokenize
C++接口调用
21
C++接口调用（二）
采样参数（temperature · top_p等） · 上下文管理
C++接口调用
22
Python接口调用（一）
llama-cpp-python加载… · 基本推理示例
Python接口调用
23
Python接口调用（二）
流式输出 · 调整生成参数 · 停止词处理
Python接口调用
24
服务器模式
使用llama-server搭建本地… · 兼容OpenAI接口
服务器模式llama-server
25
性能优化
批处理（batch） · 并行解码（n_parallel） · KV缓存复用
性能优化batch
26
GPU加速配置
Vulkan vs CUDA vs… · 设备选择 · 混合推理
GPU加速配置
27
常见错误排查
加载失败 · 版本不匹配 · 内存不足
常见错误排查加载失败
28
多GPU与分布式
NVIDIA NCCL配置 · 多卡推理初步
GPU分布式
29
模型合并
在GGUF中合并LoRA或Adapt…
模型合并GGUF
30
实战项目
从Hugging Face下载模型…
实战项目Hugging