所属分类：综合补充资料 当前为单品课程，可返回上一级继续浏览同方向资料。

← 返回上一级

← 返回所属目录咨询 / 购买

Edge Generative AI Llama.cpp本地部署从入门到精通

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · 适用人群

课程导入学习目标

生成式AI与边缘计算基础

生成式AI核心概念 · 边缘计算优势 · 本地部署的意义与挑战

Llama.cpp项目概览

项目起源 · 主要特性 · 支持模型类型

Llama.cpp项目概览

环境搭建与依赖安装

操作系统选择 · 编译工具链 · CMake

环境搭建依赖安装

源码编译与安装

从GitHub克隆 · 编译选项（如CUDA · OpenCL

源码编译安装

模型获取与转换

Hugging Face模型下载 · GGUF格式介绍 · 使用convert脚本转换模型

模型获取转换

量化技术入门

量化原理 · 不同量化级别（q4_0 · q5_1

量化技术入门量化原理

模型推理基础

使用llama-cli进行文本生成 · 参数解析（temperature · top_p等）

模型推理基础llama-cli

服务器模式与API调用

启动llama-server · REST API端点 · 使用curl或Python进行请求

API服务器模式

性能优化与调优

批处理大小 · 线程数 · 内存映射

性能优化调优

多模态模型支持

Llama.cpp对视觉模型的支持 · 图像输入处理 · 多模态推理示例

多模态模型支持Llama.cpp

配置兼容端点 · 使用 SDK连接 · 迁移现有应用

Python绑定与集成

使用llama-cpp-python… · 加载模型 · 生成文本

Node.js与JavaScript集成

使用node-llama-cpp · 构建Web应用 · 实时交互

Node.jsJavaScript

边缘设备实战

在树莓派 · Jetson Nano等设备上部署 · 资源限制下的优化策略

边缘设备实战树莓派

模型微调与适配

LoRA微调基础 · 在Llama.cpp中使用微调模型 · 自定义数据集准备

模型微调适配

提示工程与模板

设计高效提示 · 使用聊天模板 · 角色扮演与指令跟随

提示工程模板

流式输出与实时交互

实现流式生成 · WebSocket集成 · 构建聊天机器人

流式输出实时交互

安全与隐私

本地部署的数据安全 · 模型输出过滤 · 防止提示注入

常见问题排查

模型加载失败 · 内存不足 · 推理速度慢

常见问题排查模型加载失败

grammar约束 · JSON模式输出 · 函数调用支持

高级特性grammar

性能基准测试

使用llama-bench · 对比不同硬件 · 量化级别

性能基准测试llama-bench

模型合并与转换进阶

合并多个模型 · 处理特殊 · 自定义词汇表

模型合并转换进阶

容器化部署

使用Docker打包Llama.cp… · Kubernetes边缘部署 · 镜像优化

容器化部署Docker

本地知识库检索 · 向量数据库集成 · 增强生成效果

多模型管理与切换

同时运行多个模型 · 动态加载 · 资源分配策略

多模型管理切换

边缘端推理优化案例

实际项目分析 · 从需求到部署的完整流程 · 性能与质量平衡

边缘端推理优化案…实际项目分析

综合实战项目

构建一个本地AI助手 · 集成语音输入 · 文本生成

综合实战项目AI

课程总结与进阶路径

核心知识回顾 · 常见误区 · 社区资源

课程总结进阶路径

结业测试与挑战

综合测验 · 实战任务 · 评估标准

结业测试挑战