VIP20
本课程属于：004-llama cpp AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

兼容OpenAI的llama cpp API实战教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Llama C++简介
了解Llama C++项目的起源 · 代码仓库结构与核心设计理念
LlamaC++
02
环境搭建
Windows/Linux/macO… · 安装Python绑定库
环境搭建Windows/Linu…
03
模型文件获取
从HuggingFace下载GGUF… · 理解模型量化类型
模型文件获取HuggingFace
04
第一个推理程序
加载模型 · 输入提示词 · 生成文本的完整流程
第一个推理程序加载模型
05
Python绑定基础
使用llama-cpp-python…
Python绑定基础
06
参数详解（上）
理解temperature · top_p · repeat_penalty等核心采…
参数详解temperature
07
参数详解（下）
调整max_tokens · stop · frequency_penalty等…
参数详解max
08
流式输出
通过stream=True实现逐to… · 提升交互体验
流式输出stream
09
上下文窗口管理
设置n_ctx理解上下文长度 · 处理长对话截断
上下文窗口管理ctx
10
多轮对话
维护历史消息列表 · 实现连续对话能力
多轮对话维护历史消息列表
11
系统提示词
注入系统角色指令 · 控制模型行为和输出风格
系统提示词注入系统角色指令
12
函数调用（Function Calling）
定义工具函数 · 让模型调用外部API
FunctionCalling
13
JSON模式输出
限制模型输出合法JSON结构 · 便于程序解析
JSON模式输出
14
logits处理器
自定义logits处理逻辑 · 实现采样拦截与修改
logits处理器
15
嵌入（Embedding）提取
使用模型生成文本向量 · 用于检索增强生成
Embedding嵌入
16
嵌入相似度计算
比较不同文本的向量距离 · 实现语义搜索
嵌入相似度计算比较不同文本的向…
17
模型量化实践
使用llama-quantize工具…
模型量化实践llama-quanti…
18
性能优化
调整线程数 · 批处理大小 · GPU加速等参数
性能优化调整线程数
19
多模型管理
同时加载多个模型 · 按需切换推理
多模型管理同时加载多个模型
20
微调入门
使用LoRA在llama.cpp上进…
微调入门LoRA
21
LoRA加载与合并
将微调后的LoRA权重合并到基础模型
LoRA加载
22
KV Cache管理
理解缓存复用机制 · 减少重复计算
KVCache
23
批处理推理
一次输入多条提示 · 提升吞吐量
批处理推理一次输入多条提示
24
OpenAI兼容接口
启动llama.cpp服务器 · 实现/v1/completions接…
OpenAI兼容接口
25
Chat Completions接口
适配/v1/chat/complet… · 支持多轮对话
ChatCompletions
26
Embeddings接口
实现/v1/embeddings · 与OpenAI客户端无缝对接
Embeddings接口
27
模型管理API
通过HTTP上传 · 删除 · 切换模型
API模型管理
28
错误处理与调试
常见异常 · 日志级别 · 内存不足等问题的排查
错误处理调试
29
安全与隐私
本地部署优势 · 敏感数据隔离 · 访问控制
安全隐私
30
生产部署实践
Docker容器化 · 负载均衡 · 监控与日志记录
生产部署实践Docker