VIP20
本课程属于：004-llama cpp AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

嵌入式Linux上llama cpp实操

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
嵌入式Linux概述
嵌入式系统与Linux内核 · 常见嵌入式硬件平台（ARM64 · RISC-V）
Linux嵌入式
02
嵌入式Linux开发环境搭建
安装交叉编译工具链（gcc-arm-… · 配置TFTP/NFS · 使用QEMU模拟运行
Linux嵌入式
03
llama.cpp简介
项目背景 · 功能特点 · 支持模型类型（GGUF格式）
llama.cpp简介
04
llama.cpp源码获取与结构分析
Git克隆 · 代码目录结构 · 核心模块（llama.h
llama.cpp源码获取
05
交叉编译llama.cpp（ARM64）
配置CMake交叉编译参数 · 指定工具链文件（toolchain.… · 解决依赖问题
llama.cppARM64
06
交叉编译llama.cpp（RISC-V）
针对RISC-V的编译选项（-mar… · 测试与验证
llama.cppRISC-V
07
GGUF模型文件的下载与转换
从Hugging Face下载原始模… · 使用llama.cpp的conver…
GGUF模型文件的下载
08
嵌入式设备上的模型量化
量化原理（Q4_0 · Q5_K_M等） · 通过llama-quantize工具…
嵌入式设备上的模…Q4
09
在开发板上运行第一个推理
上传二进制和模型 · 设置环境变量 · 执行llama-cli --prom…
开发板上运行第一…上传二进制
10
性能测量与基准测试
使用perf · time命令测量推理速度 · 内存占用
性能测量基准测试
11
多线程优化
设置线程数（--threads参数） · CPU亲和性绑定 · OpenMP在嵌入式环境下的用法
多线程优化threads
12
内存优化技巧
预分配缓冲区 · mmap加载模型 · 清除缓存
内存优化技巧预分配缓冲区
13
NEON与SIMD加速
ARM NEON指令集介绍 · llama.cpp中NEON加速的编… · 性能收益对比
NEONSIMD
14
针对低功耗设备的优化
降低频率与电压 · 使用小模型（如TinyLlama） · 限制上下文长度
针对低功耗设备的…降低频率
15
在实时系统中的应用
结合PREEMPT_RT内核 · 设置进程优先级 · 避免内存抖动
实时系统应用
16
llama.cpp服务器模式
启用HTTP服务（llama-ser… · 配置端口 · 处理并发请求
llama.cpp服务器模式
17
通过C API集成到应用程序
调用llama_model_load · llama_eval等接口 · 编写自定义推理循环
API通过C
18
Python绑定（ctypes/cffi）实战
编译共享库 · Python调用推理 · 处理输入输出
Pythonctypes/cffi
19
分布式推理尝试
多设备分载（MPI/OpenCL） · 在多个开发板上协同推理（实验性）
分布式推理尝试MPI/OpenCL
20
交叉编译OpenBLAS加速
在嵌入式设备上利用OpenBLAS矩…
OpenBLAS交叉编译
21
Vulkan与GPU加速
嵌入式GPU（如Mali）的Vulk… · 编译LLAMA_VULKAN=1 · 性能对比
VulkanGPU
22
CLBlast与OpenCL加速
嵌入式GPU OpenCL环境搭建 · 编译LLAMA_CLBLAST=1 · 注意事项
CLBlastOpenCL
23
模型缓存与增量推理
使用KV缓存（--no-mmap?） · 分片加载 · 对话历史管理
模型缓存增量推理
24
错误排查与调试
常见运行时错误（段错误 · Out of Memory） · 使用gdb与core dump分析
错误排查调试
25
安全与沙箱
容器化部署（Docker for A… · 用户权限限制 · 模型文件校验
安全沙箱
26
持续集成（CI）与自动构建
GitHub Actions交叉编译… · 预设二进制发布 · 固件升级
CI持续集成
27
案例
在树莓派4B上部署Llama 7B… · 编译选项 · 性能数据
案例Llama
28
案例
在瑞芯微RK3588上部署Llama… · 实测t/s
案例RK3588
29
案例
在ESP32-S3（带PSRAM）上…
案例ESP32-S3
30
总结与展望
嵌入式大模型推理的挑战与趋势 · 优化方向 · 社区资源推荐
嵌入式大模型推理…趋势