所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

llama.cpp本地大模型推理部署

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程适用人群 · llama.cpp在本地大模型推理中…
课程导入学习目标
02
环境准备
操作系统选择（Windows/Lin… · 硬件要求（CPU/GPU/RAM/V… · 依赖安装（CMake
环境准备Windows/Lin
03
llama.cpp基础概念
什么是llama.cpp · GGUF模型格式 · 量化原理（Q4_K_M
llama.cpp基础概念
04
源码编译与安装
从GitHub克隆llama.cpp · 使用CMake编译CPU版本 · 启用GPU加速（CUDA/OpenC…
源码编译安装
05
模型获取与转换
从Hugging Face下载原始模… · Mistral · Qwen）
模型获取转换
06
命令行推理基础
使用llama-cli加载模型 · 设置上下文长度 · 温度
命令行推理基础llama-cli
07
服务器模式与API调用
启动llama-server · 配置HTTP端口 · 使用curl或Python requ…
API服务器模式
08
Python绑定与集成
安装llama-cpp-python · 加载模型 · 生成文本
Python绑定
09
性能优化与调优
批处理大小 · 线程数 · GPU层数（--n-gpu-laye…
性能优化调优
10
高级推理技巧
系统提示词设计 · few-shot示例 · 角色扮演
高级推理技巧系统提示词设计
11
模型微调与适配
LoRA微调基础 · 将微调后的模型转换为GGUF · 在llama.cpp中加载LoRA适…
模型微调适配
12
多模型管理与切换
同时加载多个模型 · 模型热切换 · 内存管理策略
多模型管理切换
13
嵌入式部署与边缘设备
在树莓派 · Jetson等设备上编译运行 · 资源受限环境下的优化
嵌入式部署边缘设备
14
Web界面与可视化
使用llama.cpp自带的web… · 集成Gradio或Streamlit · 构建本地聊天界面
Web界面
15
常见问题与故障排除
模型加载失败 · 内存不足 · 输出乱码
常见问题故障排除
16
安全与隐私
本地推理的数据隐私优势 · 敏感信息过滤 · 模型输出安全
安全隐私
17
实战项目一
搭建本地个人知识库问答系统 · 文档加载与分块 · 嵌入模型选择
实战项目一搭建本地个人知识…
18
实战项目二
本地代码生成助手 · 配置代码补全接口 · 集成到编辑器（VS Code）
实战项目二本地代码生成助手
19
实战项目三
离线翻译工具：使用多语言模型 · 实现中英互译 · 处理长文本
实战项目三离线翻译工具
20
实战项目四
本地语音助手（可选） · 实现语音输入输出 · 端到端流程
实战项目四本地语音助手
21
性能基准测试
使用llama.cpp自带bench… · 对比不同硬件 · 不同量化级别
性能基准测试llama.cpp
22
模型选择指南
根据任务类型（对话 · 写作 · 代码
模型选择指南根据任务类型
23
llama.cpp社区与生态
了解相关工具（llama.cpp衍生… · llama-cpp-python · llama.cpp server插件…
llama.cpp社区
24
自动化部署脚本
编写Shell/Python脚本一键… · 配置 · 启动llama.cpp服务
自动化部署脚本Shell/Python
25
容器化部署
使用Docker构建llama.cp… · GPU容器支持 · docker-compose编排
容器化部署Docker
26
与云服务对比
本地推理与云端API的成本 · 延迟 · 隐私
云服务对比API
27
模型量化深入
不同量化方法（ · AWQ · GGUF）对比
模型量化深入
28
推理引擎原理浅析
llama.cpp的底层实现（张量计… · 内存管理 · 算子优化）
推理引擎原理浅析llama.cpp
29
综合实战
构建一个完整的本地大模型应用 · 模型选型 · 环境搭建
综合实战构建一个完整的本…
30
课程总结与进阶方向
回顾核心知识点 · 常见误区 · 推荐学习资源
课程总结进阶方向