VIP20
本课程属于：004-llama cpp AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

llama cpp API服务器搭建与认证指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
llama.cpp项目简介
背景 · 特点 · 与官方llama API的对比
llama.cpp项目简介
02
环境搭建
Linux系统要求 · 安装依赖（gcc · cmake
环境搭建Linux
03
下载与编译llama.c源码
编译选项 · 常见问题
llama.c下载
04
模型获取
从HuggingFace下载GGUF… · 转换工具使用
模型获取HuggingFace
05
启动基础API服务器
命令格式 · 端口绑定 · 日志输出
API启动基础
06
API配置详解
--host · --port · --threads
API配置详解
07
API接口概览
/completion · /embedding · /chat/completions等
API接口概览
08
使用curl测试completion接口
请求格式 · 参数 · 流式输出
curlcompletion
09
使用Python调用API
requests库示例 · 错误处理
PythonAPI
10
认证必要性分析
公开API的风险 · 常见攻击场景
认证必要性分析API
11
简单令牌认证
生成API Key · 请求头传递Key · 服务器端校验
简单令牌认证API
12
HTTP Basic Auth实现
配置用户密码文件 · nginx反向代理
HTTPBasic
13
JWT认证方案
生成JWT · 验证中间件 · 刷新令牌
JWT认证方案
14
基于nginx的一次性密码（OTP）代理
使用oauth2-proxy
nginxOTP
15
HTTPS部署
自签名证书 · Let's Encrypt · 反向代理SSL终结
HTTPS部署
16
速率限制（Rate Limiting）
令牌桶算法 · nginx limit_req模块
RateLimiting
17
日志与审计
记录请求IP · 时间 · 模型
日志审计
18
多模型管理
启动多个实例 · nginx负载均衡 · 动态切换
多模型管理启动多个实例
19
并发处理
线程池配置 · 请求队列 · 最大并发数
并发处理线程池配置
20
缓存优化
KV Cache管理 · Prefix Cache · 缓存失效策略
缓存优化KV
21
性能调优
batch size · GPU offloading · 量化精度选择
性能调优batch
22
监控与告警
Prometheus指标暴露 · Grafana仪表盘配置
监控告警
23
容器化部署
Dockerfile编写 · 多阶段构建 · 镜像瘦身
容器化部署Dockerfile
24
Docker Compose编排
组合llama.cpp · nginx · Prometheus
DockerCompose
25
Systemd服务管理
创建service文件 · 开机自启 · 日志轮转
Systemd服务管理
26
安全加固
防火墙（ufw/iptables） · 限制IP · 最小权限原则
安全加固ufw/iptables
27
常见故障排查
模型加载失败 · OOM · 请求超时
常见故障排查模型加载失败
28
扩展自定义API
添加文本翻译 · 摘要生成的额外端点
API扩展自定义
29
集成外部服务
与LangChain · Autogen等框架配合使用
集成外部服务LangChain
30
生产环境最佳实践
高可用部署 · 备份 · 版本管理
生产环境最佳实践高可用部署